华为自研多瑙调度器获CCF HPC China 2023技术创新奖
创始人
2025-06-29 19:20:44
0

2023年8月23日-25日,全国高性能计算学术年会(CCF HPC China 2023)在青岛举办。 在本届大会上,华为自研企业级超大规模集群分布式管理软件-多瑙调度器凭借其高效调度能力、多样性算力支持和极简管理的先进性和创新性,荣获中国计算机学会高性能计算专业委员会颁发的技术创新奖

高性能计算正在从高精尖科研创新领域走向千行百业。2022年,华为正式发布了鲲鹏高性能计算解决方案(鲲鹏HPC解决方案),该方案基于鲲鹏全栈(含硬件、基础软件、应用优化等),通过硬件开放和软件开源,打造高性能、高算力的整机产品和完整的高性能计算基础软件栈。多瑙套件(含多瑙管理平台和多瑙调度器)是鲲鹏HPC解决方案的核心软件,多瑙调度器支持百万核超大规模调度和异构多集群统一管理,大幅提升集群管理效率和多核作业调度能力。

调度器作为集群计算的大脑,主要负责为任务分配相应的系统资源。好的调度器可以充分发挥集群资源的有效算力,为用户带来极致的性价比;反之则会导致严重的资源浪费,甚至是集群瘫痪。

华为自研企业级超大规模集群分布式管理软件-多瑙调度器,支持融合应用跨多样性算力资源的统一调度和管理,实现大规模、高资源利用效率、高调度性能,为多样性计算集群提供应用和资源的最佳匹配。多瑙调度器基于前沿的架构设计理念进行设计开发,横向支持HPC、AI、大数据多场景统一调度;纵向支持应用、算力、存储、网络、能耗深度感知和多维度智能调度;跨数据中心支持数据中心间资源协同,全局调度,并具备以下三大先进性和创新性:

●高效调度:通过自研多线程事件引擎、IO技术优化,支持单集群1万节点/百万核资源调度,资源利用率90%+,吞吐量超过400万/小时;通过启动作业多级树状分发关键技术创新,支持40万RANK MPI作业调度启动。

●多样性支持:通过节点标签、资源模型抽象统一技术,支持鲲鹏/x86/GPU多样性算力混合部署;通过架构分层、接口适配,以不侵入修改三方集群方式支持异构多集群统一管理,实现资源统筹规划和高效利用。

●极简管理:集成应用、监控、报表、计费四大中心功能,通过Web界面可视化管理集群,管理效率提升30%;提供设计计算一体化集成能力,数据不出湖,端到端保障数据安全。

多瑙度器一经推出,受到了广大客户的青睐,目前已经在教育科研、制造、气象、生命科学、高能物理、材料化学等各个行业应用,帮助客户打造性能更佳、成本更优、效率更高的高性能计算基础设施“底座”提供重要支撑,为高性能计算用户提供更容易落地的产品和解决方案,加速构建创新发展格局。

相关内容

热门资讯

PHP新手之PHP入门 PHP是一种易于学习和使用的服务器端脚本语言。只需要很少的编程知识你就能使用PHP建立一个真正交互的...
网络中立的未来 网络中立性是什... 《牛津词典》中对“网络中立”的解释是“电信运营商应秉持的一种原则,即不考虑来源地提供所有内容和应用的...
各种千兆交换机的数据接口类型详... 千兆交换机有很多值得学习的地方,这里我们主要介绍各种千兆交换机的数据接口类型,作为局域网的主要连接设...
粉嫩如何诠释霸道 东芝M805... “霸道粉”是个什么玩意东芝M805拿过来的时候,笔者扑哧笑了,不是笑这款笔记本,而是笑这款产品的颜色...
什么是大数据安全 什么是大数据... 在《为什么需要大数据安全分析》一文中,我们已经阐述了一个重要观点,即:安全要素信息呈现出大数据的特征...
如何利用交换机和端口设置来管理... 在网络管理中,总是有些人让管理员头疼。下面我们就将介绍一下一个网管员利用交换机以及端口设置等来进行D...
全面诠释网络负载均衡 负载均衡的出现大大缓解了服务器的压力,更是有效的利用了资源,提高了效率。那么我们现在来说一下网络负载...
如何允许远程连接到MySQL数... [[277004]]【51CTO.com快译】默认情况下,MySQL服务器仅侦听来自localhos...
30分钟搞定iOS自定义相机 最近公司的项目中用到了相机,由于不用系统的相机,UI给的相机切图,必须自定义才可以。就花时间简单研究...
Intel将Moblin社区控... 本周二,非营利机构Linux基金会宣布,他们将担负起Moblin社区的管理工作,而这之前,Mobli...