华为自研多瑙调度器获CCF HPC China 2023技术创新奖

2023年8月23日-25日,全国高性能计算学术年会(CCF HPC China 2023)在青岛举办。 在本届大会上,华为自研企业级超大规模集群分布式管理软件-多瑙调度器凭借其高效调度能力、多样性算力支持和极简管理的先进性和创新性,荣获中国计算机学会高性能计算专业委员会颁发的技术创新奖。

1692877420683953.jpg

高性能计算正在从高精尖科研创新领域走向千行百业。2022年,华为正式发布了鲲鹏高性能计算解决方案(鲲鹏HPC解决方案),该方案基于鲲鹏全栈(含硬件、基础软件、应用优化等),通过硬件开放和软件开源,打造高性能、高算力的整机产品和完整的高性能计算基础软件栈。多瑙套件(含多瑙管理平台和多瑙调度器)是鲲鹏HPC解决方案的核心软件,多瑙调度器支持百万核超大规模调度和异构多集群统一管理,大幅提升集群管理效率和多核作业调度能力。

调度器作为集群计算的大脑,主要负责为任务分配相应的系统资源。好的调度器可以充分发挥集群资源的有效算力,为用户带来极致的性价比;反之则会导致严重的资源浪费,甚至是集群瘫痪。

华为自研企业级超大规模集群分布式管理软件-多瑙调度器,支持融合应用跨多样性算力资源的统一调度和管理,实现大规模、高资源利用效率、高调度性能,为多样性计算集群提供应用和资源的最佳匹配。多瑙调度器基于前沿的架构设计理念进行设计开发,横向支持HPC、AI、大数据多场景统一调度;纵向支持应用、算力、存储、网络、能耗深度感知和多维度智能调度;跨数据中心支持数据中心间资源协同,全局调度,并具备以下三大先进性和创新性:

●高效调度:通过自研多线程事件引擎、IO技术优化,支持单集群1万节点/百万核资源调度,资源利用率90%+,吞吐量超过400万/小时;通过启动作业多级树状分发关键技术创新,支持40万RANK MPI作业调度启动。

●多样性支持:通过节点标签、资源模型抽象统一技术,支持鲲鹏/x86/GPU多样性算力混合部署;通过架构分层、接口适配,以不侵入修改三方集群方式支持异构多集群统一管理,实现资源统筹规划和高效利用。

●极简管理:集成应用、监控、报表、计费四大中心功能,通过Web界面可视化管理集群,管理效率提升30%;提供设计计算一体化集成能力,数据不出湖,端到端保障数据安全。

多瑙度器一经推出,受到了广大客户的青睐,目前已经在教育科研、制造、气象、生命科学、高能物理、材料化学等各个行业应用,帮助客户打造性能更佳、成本更优、效率更高的高性能计算基础设施“底座”提供重要支撑,为高性能计算用户提供更容易落地的产品和解决方案,加速构建创新发展格局。

(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )