1 CCF HPC China 2023 | 超融合以太加持:北京大学高性能计算平台将迎来大提速-德赢Vwin官网 网
0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

CCF HPC China 2023 | 超融合以太加持:北京大学高性能计算平台将迎来大提速

华为数据通信 来源:未知 2023-08-25 18:10 次阅读

wKgZomToju-APKHNAABYb2B4C6Q259.png

8月25日,在青岛举行的全国高性能计算学术年会大会(CCF HPC China 2023)上,2023华为高性能计算解决方案分论坛同步举办。来自北京大学计算中心工程师付振新分享了“北京大学高性能计算平台超融合以太数据中心网络解决方案实践”。

wKgZomToju-Aaw42AADGekqd3fA526.jpg

北京大学计算中心工程师 付振新 现场分享

为满足校内的教学科研计算需求,北京大学从2018年起陆续建设了“未名一号”、“未名生科一号”、“未名教学二号”等高性能计算集群,有力地提升了校内的算力供应能力。随着承载的用户、计算任务和数据量不断增加,原有平台的网络基础设施性能逐渐不敷使用,因此北京大学在2023年进行了高性能计算平台的系统及网络改造项目。经过全方位的综合评估,北京大学最终选择了华为超融合以太数据中心网络解决方案,实现高性能计算平台的大提速,真正释放算力基础设施的全部潜力。

科研创新迎来算力时代

进入二十一世纪以来,人类的科学探索逐渐深入高度复杂、高度不确定性的新环境,大量庞大而复杂的科学问题需要借助超级计算机来进行vwin 仿真、预测。从传统的化学化工、生物制药、高能物理、金融工程、社会治理,到新兴的大数据、人工智能、网络信息安全等等,都因强大算力的加持而取得了超出以往的全新进展和成果。

北京大学早在2018年就建成了高性能计算校级公共平台,先后建成投用了“未名一号”、“未名教学二号”、“未名生科一号”等5套集群。不过随着平台使用人数、计算任务的增加,网络基础设施的流量吞吐量和复杂性都大大增加,年均节点占用率都在80%以上,“未名生科一号”的节点占用率甚至长期处于95%以上,作业时间和排队时间变得越来越漫长。针对这一问题,几家供应商分别提出了基于IB、RoCEv1、RoCEv2等技术打造的网络方案。在北京大学组织的基准测试和通用地球系统模式CESM、分子动力学软件VASP等应用场景测试中,华为提供的基于RoCEv2的超融合以太数据中心网络解决方案表现出了优异性能,能够有效缩短作业运行时间和排队时间,于是成功入选北京大学高性能计算平台的改造项目。

生态开放、性能优异:RoCE前景看好

为适应用户对计算效率、时延、扩展性等方面的苛刻要求,高性能计算需要在不同节点之间实时高速传递海量数据,这对服务器互连方案的要求非常高。目前业界主流的计算互联协议有RoCE和IB两种,其中IB具有高吞吐、低时延、高可靠性等特点,技术先进,不过主要掌握在英特尔、IBM、英伟达等企业手中,技术和产品生态都比较封闭,成本高昂。RoCE则是一种基于以太网络的RDMA网络协议,生态相对开放,而且着力于实现网络的无损传输,深受各国高性能计算和AI等产业欢迎,被认为是未来全球数字化的重要路径。

华为基于RoCE的超融合以太技术,具有完善的流量控制、拥塞控制、流量调度和应用加速功能,独家实现了以太网0丢包。此外,华为还开发了在网计算(INC)技术有效提高集合通信效率、降低总的任务完成时间,在时延方面比IB略胜一筹。

在北京大学组织的测试中,共有TCP/IP、IB、RoCEv2三种方案,分别用基准测试工具Linpack和地球系统模式CESM、分子动力学软件VASP等应用进行实验。结果表明,承载VASP应用时,华为100GE RoCEv2略优于IB;承载Linpack和CESM时,华为方案与IB性能表现基本一致。此前权威评测机构Tolly也曾做过测试,在拥塞条件下的带宽和时延等基础性能测试、MPI计算性能基准测试以及HPC应用测试中,华为方案的性能都优于其它厂商的IB组网方案。这些实测结果都表明,华为超融合以太网络解决方案可完全可以代替IB方案。

wKgZomTojvCAATpjAAGCrMSf09s160.png

支持算力建设,服务数字未来

近年来,华为超融合以太网络解决方案已经在国内外多个高性能计算平台项目中落地应用。比如在2022年,华为超融合以太网络解决方案还在武汉超算中心、阿联酋高级国家研究和教育网络Ankabut项目中投入了应用,因其卓越性能而得到了客户的高度评价。

在北京大学高性能计算平台的前期项目中,“未名二号”集群就采用了华为100GE RoCE无损以太网络方案。“未名二号”由240台CPU计算节点和30台GPU计算节点组成,后续可扩容至340台CPU计算节点。与IB方案相比,北京大学高性能计算平台管理人员发现华为RoCE方案无需用户改变使用习惯,以太网带宽增加更快,性能也超出预期。

随着HPC和AI应用的快速发展,对网络带宽吞吐的需求将不断增长,从100GE、200GE、400GE到800GE等更高速率不断演进的以太网络无疑是最佳的承载技术。与此同时,RoCE无损以太网络在时延、吞吐量、可靠性、编解码和调制技术等方面也在不断进步,使得无损以太网络的总体性能不断提高,未来有望在自动驾驶智能制造、生物科技、金融等更多行业和领域投入应用。

wKgZomTojvGAOb8aAAEeyHFS5w4874.png

wKgZomTojvGAUssyAABH79rerUY727.gif 点击“阅读原文”,了解更多华为数据通信资讯!


原文标题:CCF HPC China 2023 | 超融合以太加持:北京大学高性能计算平台将迎来大提速

文章出处:【微信公众号:华为数据通信】欢迎添加关注!文章转载请注明出处。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表德赢Vwin官网 网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 华为
    +关注

    关注

    216

    文章

    34411

    浏览量

    251484

原文标题:CCF HPC China 2023 | 超融合以太加持:北京大学高性能计算平台将迎来大提速

文章出处:【微信号:Huawei_Fixed,微信公众号:华为数据通信】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    维谛技术(Vertiv):未来HPC,你想象不到的酷炫变革!

    随着AI技术的迅猛发展,高性能计算HPC)也迎来了新的变革浪潮。在2024全球超级计算机Green500排行榜上,位列前三的
    的头像 发表于 10-30 11:12 239次阅读
    维谛技术(Vertiv):未来<b class='flag-5'>HPC</b>,你想象不到的酷炫变革!

    科研计算HPC平台是什么

    高性能计算平台HPC平台)是一个利用由成千上万个处理器核心组成的超级计算机或
    的头像 发表于 10-21 10:43 177次阅读

    RISC-V AI技术正式纳入北京大学研究生课程

    课堂此次合作是产学研结合的一次重要实践。基于北京大学集成电路学院开设的研究生课程《现代SoC芯片架构设计》,希姆计算北京大学达成课程合作,RISC-VAI核心
    的头像 发表于 10-18 08:09 352次阅读
    RISC-V AI技术正式纳入<b class='flag-5'>北京大学</b>研究生课程

    北京大学谢涛:基于RISC-V构建AI算力的优势和两种模式

    德赢Vwin官网 网报道(文/吴子鹏)第四届滴水湖中国RISC-V产业论坛上,北京大学讲席教授、RISC-V国际基金会人工智能与机器学习专委会主席谢涛教授进行了题为《万物智联时代的RISC-V+AI算力之路
    的头像 发表于 08-19 10:41 1204次阅读

    带你了解什么是高性能计算HPC

    受益于HPC更高的速度处理大量数据的能力,全球正在进入HPC大周期,高性能计算的发展水平已经成为衡量一个国家综合实力和高科技发展水平的重要标志,美国、欧盟、日本、英国都高度重视
    的头像 发表于 07-20 08:28 569次阅读
    带你了解什么是<b class='flag-5'>高性能</b><b class='flag-5'>计算</b>(<b class='flag-5'>HPC</b>)

    超高“质”量——CCF HPC China 2024主题论坛正式公布

    积蓄点点星火,以待磅礴进发,第 20 届 CCF 全国高性能计算学术年会(以下简称“CCF HPC Ch
    的头像 发表于 07-19 09:55 317次阅读
    超高“质”量——<b class='flag-5'>CCF</b> <b class='flag-5'>HPC</b> <b class='flag-5'>China</b> 2024主题论坛正式公布

    引领高校原生人才新生态 北京大学鲲鹏昇腾科教创新卓越中心正式成立

    6月22日,北京大学与华为技术有限公司在北京签署合作协议,“北京大学 鲲鹏昇腾科教创新卓越中心”(以下简称“卓越中心”)正式成立揭牌。双方围绕卓越中心着力推动科研
    的头像 发表于 06-25 16:23 405次阅读
    引领高校原生人才新生态 <b class='flag-5'>北京大学</b>鲲鹏昇腾科教创新卓越中心正式成立

    润石科技董事长参加北京大学集成电路学院“未名·芯”论坛

    2024年5月5日,在纪念五四运动105周年,也是北京大学建校126周年之际,润石科技董事长张明先生受北京大学集成电路学院校友返校、共叙情谊活动邀请
    的头像 发表于 05-11 14:06 1118次阅读

    北京大学讲座 | 大模型时代的软件研发:技术、范式与工具

    3 月 10 日,华为云与北京大学合作在软件和微电子学院举办了此次关于研发大模型的讲座,这不仅是华为云与北大第一次在 AI 大模型上进行产教融合,更是双方对于推动大模型研发与应用,培养相关技术人才
    的头像 发表于 05-09 23:00 515次阅读
    <b class='flag-5'>北京大学</b>讲座 | 大模型时代的软件研发:技术、范式与工具

    北京大学-知存科技存算一体联合实验室揭牌,开启知存科技产学研融合战略新升级

    、知存科技首席科学家郭昕婕博士及企业研发相关负责人参加了现场揭牌仪式。面向多模态大模型时代产业发展新需求,双方携手踏上探索存算一体技术前沿发展和应用的新征程。     北京大学集成电路学院院长蔡一茂(左二)、北京大学
    的头像 发表于 05-07 19:31 1410次阅读
    <b class='flag-5'>北京大学</b>-知存科技存算一体联合实验室揭牌,开启知存科技产学研<b class='flag-5'>融合</b>战略新升级

    北京大学问世世界最薄光学晶体:氮化硼晶体

    据悉,光学晶体被誉为激光技术的核心部件,广泛运用于微纳加工、量子光源及生物检测等领域。北京大学科研团队通过不断尝试,最终确定氮化硼作为最适合研发新型激光器的材料。
    的头像 发表于 04-26 10:41 715次阅读

    北京大学高性能计算综合能力竞赛圆满结束

    近日,第一届北京大学高性能计算综合能力竞赛(HPCGame)举办了闭幕式暨颁奖典礼。在全体参赛选手的积极参与和精彩角逐下,本届共有来自87所高校,890名选手报名参赛。RISC-V新架构奖获奖选手共
    的头像 发表于 04-14 08:34 763次阅读
    <b class='flag-5'>北京大学</b><b class='flag-5'>高性能</b><b class='flag-5'>计算</b>综合能力竞赛圆满结束

    百川智能与北京大学共建通用人工智能联合实验室

    近日,百川智能与北京大学携手合作,共同签署了“北大——百川通用人工智能联合实验室”的共建协议,标志着双方在人工智能领域迈出了坚实的合作步伐。
    的头像 发表于 03-21 11:45 898次阅读

    北京大学首次硬件实现电容耦合的VO2相变振荡动力学计算系统

    北京大学集成电路学院杨玉教授课题组首次硬件实现了电容耦合的VO2相变振荡动力学计算系统。
    的头像 发表于 02-28 11:28 972次阅读
    <b class='flag-5'>北京大学</b>首次硬件实现电容耦合的VO2相变振荡动力学<b class='flag-5'>计算</b>系统

    什么是HPC高性能计算

    高性能计算(HighPerformanceComputing,简称HPC),是指利用集群、网格、算等计算机技术,通过合理地组织
    的头像 发表于 02-19 13:27 843次阅读
    什么是<b class='flag-5'>HPC</b><b class='flag-5'>高性能</b><b class='flag-5'>计算</b>