1 你见过1EB的存储系统吗?堪称世界上最大的单一文件系统-德赢Vwin官网 网
0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

你见过1EB的存储系统吗?堪称世界上最大的单一文件系统

存储加速器 来源:yxw 2019-06-19 09:31 次阅读

近日,全球超级计算机领导者 Cray Inc. 宣布,Frontiersman Cray为“最大的单一文件系统”提供了5000万美元的存储合同,为美国Oak Ridge国家实验室(ORNL)Frontier exascale超级计算机提供1 exabyte的ClusterStor存储。

Frontier是价值6亿美元的Cray-AMD exascale系统,最高可达1.5 exaFLOPS,将于2021年交付,并于2022年验收。它将成为ORNL 200 petaFLOPS Summit超级计算机的后续产品

Cray凭借其在5月份由AMD EPYC处理器和Radeon Instinct GPU驱动的Shasta超级计算机赢得了Frontier竞标,因此相关的存储合同并不出乎意料。

该存储解决方案是针对亿亿次级数据密集型工作负载的新设计,将基于下一代Cray®ClusterStor®存储和Cray Slingshot™高速互连。下一代Cray®ClusterStor®存储文件系统是基于Cray的Shasta™的架构,并且将作为ORNL国家实验室的的一部分集成到Frontier exascale超级计算机。

新的存储解决方案将由超过一兆字节(EB)的混合闪存和运行Lustre®并行文件系统的高容量存储组成。一个exabyte的存储空间是1000PB,这足以存储超过2亿个高清电影。存储解决方案将通过Slingshot系统互连到ORNL exascale超级计算机,实现系统上同时运行的各种建模,仿真,分析和AI工作负载的无缝扩展。该Frontier exascale超级计算机预计将于2021年首次亮相,成为世界上功能最强大的计算机,性能超过1.5 exaflops。

与ORNL目前的Summit超级计算机的存储相比,这种下一代解决方案,容量是其四倍以上(超过1 EB(或1,000 PB)而不是250 PB),另外和基于Spectrum Scale的存储系统的2.5 TB / s相比,吞吐量将超过4倍(高达10 TB / s)。面向ORNL的新型Cray ClusterStor存储解决方案将包含40多个存储柜,并在两层存储中提供超过1 EB的总容量,以支持数据的随机和流式访问。主层是用于高性能临时存储的闪存层,而辅助层是用于高容量存储的硬盘层。新的存储系统将成为ORNL的中心系统,该Frontier exascale系统将由具有ZFS本地卷的Lustre全局并行文件系统访问,所有这些都在一个全局POSIX命名空间中,这将使其成为世界上最大的单个高性能文件系统。

ORNL的Frontier项目主管Justin Whitt透露,新的解决方案将为科学家提供传统建模和vwin 以及深度学习和数据科学所需的性能和容量。

HPC存储系统传统上使用大型硬盘阵列来满足大量可预测的数据读取和写入访问。这与人工智能机器学习工作负载形成鲜明对比,后者通常混合使用小型和大型数据的随机和顺序访问。因此,传统存储系统不适合这些工作负载的综合使用,因为混合数据的访问和智能高速系统互连的需求,可以快速地在超级计算机上移动大量数据,从而使这些不同的工作负载在Frontier exascale系统上同时运行。

下一代基于ClusterStor的存储解决方案通过提供闪存和容量存储的混合来支持复杂的访问模式,强大的新软件堆栈以提高数据的可管理性和分层,以及通过计算和存储实现无缝扩展,从而解决了这些挑战。除了扩展之外,存储与Slingshot网络的直接连接消除了对大多数传统HPC网络所需的存储路由器的需求。此外,由于Slingshot是以太网兼容的,这样可以降低整个系统的成本,降低复杂性并降低延迟,从而提供更高的前所未有的应用性能和ROI。

通过将超级计算的性能和规模与云计算的生产力和完整的数据中心互操作性相结合,Cray的Shasta超级计算机,ClusterStor存储和Slingshot互连正迅速成为亿亿时代的领先技术选择。惠普正以13亿美元的价格收购Cray,该交易预计将在技术巨头2020财年的第一季度完成。这意味着HPE现在正处于亿元计算竞争中,并将提供自己的存储。Cray宣布其计算,软件,存储和互连功能正在为HPC和企业客户提供产品,预计可用性将从2019年底开始 。

值得关注的是,Cray / Intel Aurora exaflopper将于2021年推出,与Frontier一样。日本的Arm-powered Post-K exascale系统也即将到期,中国的天河-3可能会在2020年出现。ATOS为欧洲处理器计划提供的欧盟exascale计算机预计将在2021年推出其首批系统,其中1个exaFLOPS Gen 2 GPP Cronos系统将于2022年至2023年推出。IBM也将参加exascale竞赛,El Capitan也将于2021年参加Argonne领导计算机设施。届时存储社区将透露更多关于各大超级计算机上的存储系统。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表德赢Vwin官网 网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 处理器
    +关注

    关注

    68

    文章

    19259

    浏览量

    229642
  • 超级计算机
    +关注

    关注

    2

    文章

    461

    浏览量

    41941
  • 存储系统
    +关注

    关注

    2

    文章

    409

    浏览量

    40850
  • Cray
    +关注

    关注

    0

    文章

    7

    浏览量

    8700

原文标题:你见过1EB的存储系统吗?堪称世界上最大的单一文件系统

文章出处:【微信号:TopStorage,微信公众号:存储加速器】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    服务器数据恢复——Ext4文件系统umount失败的数据恢复案例

    块组:Ext4文件系统的全部空间被划分为若干个块组,每个块组结构基本上相同。 块组描述符表:每个块组都对应个块组描述符,这些块组描述符统放在文件系统的前部,称为块组描述符表。每个
    的头像 发表于 11-13 13:25 240次阅读
    服务器数据恢复——Ext4<b class='flag-5'>文件系统</b>umount失败的数据恢复案例

    虚拟化数据恢复—UFS2文件系统数据恢复案例

    虚拟化数据恢复环境: SAN环境下通过iSCSI实现FreeNAS,FreeNAS采用的UFS2文件系统。物理存储架构在台服务器,另外两台服务器
    的头像 发表于 11-11 11:02 154次阅读

    服务器数据恢复—EXT3文件系统下误删除数据的恢复案例

    服务器数据恢复环境: 邮件服务器中有组由8块盘组成的RAID5阵列, 上层是Linux操作系统+EXT3文件系统。 服务器故障: 由于误删除导致文件系统中的邮件数据丢失。
    的头像 发表于 10-23 15:11 158次阅读
    服务器数据恢复—EXT3<b class='flag-5'>文件系统</b>下误删除数据的恢复案例

    服务器数据恢复—V7000存储NTFS文件系统数据恢复案例

    服务器存储数据恢复环境: 台挂载在Windows server服务器的v7000存储存储空间划分了
    的头像 发表于 10-14 14:03 208次阅读
    服务器数据恢复—V7000<b class='flag-5'>存储</b>NTFS<b class='flag-5'>文件系统</b>数据恢复案例

    NetApp数据恢复—NetApp存储WAFL文件系统下误删除的数据恢复案例

    NetApp某型号存储,WAFL文件系统。 工作人员误操作将该NetApp存储中的重要数据删除。
    的头像 发表于 10-11 14:17 192次阅读

    Linux根文件系统的挂载过程

    Linux根文件系统(rootfs)是Linux系统中所有其他文件系统和目录的起点,它是内核启动时挂载的第文件系统
    的头像 发表于 10-05 16:50 400次阅读

    小型文件系统如何选择?FatFs和LittleFs优缺点比较

    01  概述 文件系统在嵌入式系统中的作用不可或缺,它提供了对非易失性存储设备(如闪存、SD卡等)的数据进行有效组织和管理的能力。通过文件系统
    的头像 发表于 09-29 16:14 1583次阅读
    小型<b class='flag-5'>文件系统</b>如何选择?FatFs和LittleFs优缺点比较

    想提高开发效率,不要忘记文件系统

    ​同学们都知道,开发过程中文件系统的重要性,同样的,4G-Cat.1模组的文件系统也非常重要,它通常与数据传输速度、存储效率,以及数据安全性等有非常重要的关系,在应用开发中也非常重要。
    的头像 发表于 09-21 08:18 231次阅读
    想提高开发效率,不要忘记<b class='flag-5'>文件系统</b>

    如何修改buildroot和debian文件系统

    本文档主要介绍在没有编译环境的情况下,如何修改buildroot和debian文件系统方法,如在buildroot文件系统中添加文件、修改目录等文件操作,在debian
    的头像 发表于 07-22 17:46 457次阅读
    如何修改buildroot和debian<b class='flag-5'>文件系统</b>

    linux--sysfs文件系统

    sysfs文件系统 sysfs,全称为System Filesystem,是个由Linux内核实现的虚拟文件系统。它扮演着个桥梁的角色,将内核中的设备和驱动程序信息以
    的头像 发表于 07-08 11:37 840次阅读
    linux--sysfs<b class='flag-5'>文件系统</b>

    【服务器数据恢复】异常断电导致UFS2文件系统故障的数据恢复案例

    台服务器通过FreeNAS(本案例使用的是UFS2文件系统)实现iSCSI存储,整个UFS2文件系统作为
    的头像 发表于 02-22 14:48 563次阅读
    【服务器数据恢复】异常断电导致UFS2<b class='flag-5'>文件系统</b>故障的数据恢复案例

    Linux系统如何扩展文件系统

    当数据盘没有创建分区,只在设备创建了文件系统。或者格式化了硬盘,就直接mount系统使用。
    的头像 发表于 02-21 09:53 834次阅读

    鸿蒙轻内核源码分析:虚拟文件系统 VFS

    接口不统,若系统中有多个文件系统类型,访问不同的文件系统就需要使用不同的非标准接口。而通过在系统中添加 VFS 层,提供统
    的头像 发表于 02-18 14:50 805次阅读

    【服务器数据恢复】UFS2文件系统数据恢复案例

    不稳,服务器非正常关机,重启服务器后发现ESXI虚拟化系统无法连接存储。工作人员对服务器进行故障排查,发现UFS2文件系统出现故障,于是fsck修复UFS2文件系统并将ESXI虚拟化
    的头像 发表于 01-09 14:53 883次阅读

    教你在Ubuntu系统定制文件系统

    开发板都需要去apt-get安装,这样会大幅增加工作量,很不便于批量化生产。 能不能把软件起打包到镜像呢?这样每次烧写完就不用再去apt-get在线安装了。答案当然是肯定的,这就涉及到文件系统的定制了
    发表于 12-26 16:33