1 浪潮信息如何应对智能时代下的数据存储需求-德赢Vwin官网 网
0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

浪潮信息如何应对智能时代下的数据存储需求

浪潮存储 来源:浪潮存储 2024-11-26 13:42 次阅读

随着智能时代的全面到来,数据量呈现出爆炸性增长,这对存储系统提出了前所未有的高标准要求。从早期的“百模大战”演进至“千模大战”,现已迈入了一个以数据为核心的新时代,其中数据成为了算法与算力不可或缺的基础支撑。

在近期举行的2024中国数据与存储峰会上,分布式存储产品部总经理姜乐果发表了题为《智能时代的数据存储平台》的主题演讲。在演讲中,姜乐果深刻剖析了智能时代背景下数据存储所面临的挑战及浪潮信息为应对这些挑战所做出的不懈努力与创新实践。

智能时代下的数据存储需求

无论是金融领域的风险精准识别、智慧交通中的自动驾驶技术、制造业中的精密质量检测,还是科研领域的高效计算探索,都深深依赖于海量数据的强大支持。然而,数据的迅猛增长也给存储系统带来了诸多前所未有的严峻挑战,这些挑战涵盖了更高的性能需求、更灵活的扩展能力,以及更智能化的管理机制等多个方面。

人工智能时代,数据作为最为关键的载体,其计算过程中的存储环节面临着性能、效率和韧性这三大核心挑战。

姜乐果在演讲中着重指出,数据存储的性能已经成为制约众多应用场景进一步发展的关键因素之一。相较于以往,大模型的训练对存储性能的需求已经跃升了多个数量级。在传统时代,存储性能往往停留在百GB级的水平,而到了大模型训练的时代,这一需求已经激增到TB级。这意味着,如果没有足够快速的存储设备作为支撑,数据的读写时间将会大幅度延长,进而导致GPU等昂贵且宝贵的计算资源处于闲置状态,造成资源的极大浪费。

除了性能之外,数据存储的效率也是至关重要的。在当今这个数据多源异构的时代,数据来源于网络、云端以及政府机构等多个渠道,如何迅速有效地对这些数据进行清洗、整合,并最终形成有价值的数据资源,成为了一个亟待解决的难题。

此外,从国家政策的角度来看,数据要素已经被正式纳入资产负债表,成为了企业资产中不可或缺的一部分。这一举措不仅彰显了数据的巨大价值,同时也对存储系统的安全性与可靠性提出了更为严格的要求,以确保数据的完整性和保密性。

浪潮信息的创新探索与实践

面对智能时代的种种挑战,浪潮信息已经形成了清晰的存储平台构建策略。

在产品布局上,浪潮信息针对大模型训练推出了软件定义存储,它融合了块、文件、对象和大数据等多种存储类型,注重提供极致的性能和容量,并能够同时管理上层业务应用和第三方存储资源。而对于推理场景,浪潮信息则推出了阵列存储,利用传统盘阵的微秒级延时优势,能够迅速响应如人工智能驾驶等高要求场景的需求。此外,浪潮信息还自主研发了SSD,通过打通IO路径,进一步提升了存储效率。

为了提升性能,浪潮信息采用了端到端的优化策略。结合SSD和技术架构的演进,通过智能运行、缓存和自解锁等技术,对软件架构进行了重构。这使得小文件性能提升了5倍以上,大文件性能提升了10倍。在训练过程中,CheckPoint操作实现了秒级读写,TB级带宽的案例有效减少了GPU时延的浪费,从而提升了训练效率。

在智能空间管理方面,浪潮信息去除了本地文件系统,直接管理裸盘,并预分配空间和权限到计算节点。这种方式减少了原数据的访问,使得空间利用率达到了95%以上,同时性能没有衰减,进一步缩短了大模型训练的时间。

融合存储优化管理:浪潮信息软件定义存储从2016年自研至今不断发展,通过和客户业务深度结合的方式,推动产品从文件、对象融合逐步向四合一、五合一迈进。到目前,存储对内可以实现多协议互访互通、语义无损,同时只需要保存一份数据供多种协议访问;存储对外可通过全局文件系统支持数据跨介质、跨终端、跨域流动,实现一套存储管理所有平台,优化存储效率。

安全可靠保障业务:数据资产入表对安全性和可靠性要求高,浪潮信息在风险防控上检测率高、误报漏报率低,达到万分之2.9。利用AIOps功能预测性能、容量趋势和故障盘,提前预警处理,减少盘体故障导致的存储宕机。

在全球存储市场中,浪潮信息存储装机容量位居前三,企业存储业务在中国位居第二,全闪存储销售额同样在中国市场占据领先地位。随着大数据、云计算、人工智能等技术的快速发展,数据存储需求日益多样化且复杂化。基于此,浪潮信息凭借深厚的技术研发底蕴,积极推动场景共同体建设,与合作伙伴共同探索解决方案、定制产品,并协同拓展市场,共同推动存储领域的进步。展望未来,浪潮信息将不断致力于提供更加优质、高效、安全的存储解决方案,以应对市场对高效、可靠存储的迫切需求,为各行各业的数字化转型和智能化升级提供坚实支撑。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表德赢Vwin官网 网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • gpu
    gpu
    +关注

    关注

    28

    文章

    4729

    浏览量

    128887
  • 数据存储
    +关注

    关注

    5

    文章

    970

    浏览量

    50894
  • 浪潮
    +关注

    关注

    1

    文章

    458

    浏览量

    23850

原文标题:智能时代的存储挑战与机遇:浪潮信息的创新探索与实践

文章出处:【微信号:inspurstorage,微信公众号:浪潮存储】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    浪潮信息AI存储性能测试的领先之道

    AI技术的无限可能。近日,在MLCommons的子项目MLPerf Storage v1.0性能基准评测中,浪潮信息再度展现了在AI存储领域的卓越实力。
    的头像 发表于 10-29 16:30 237次阅读
    <b class='flag-5'>浪潮信息</b>AI<b class='flag-5'>存储</b>性能测试的领先之道

    浪潮信息赵帅:开放计算创新 应对Scaling Law挑战

    北京2024年8月15日 /美通社/ -- 日前在2024开放计算中国峰会上,浪潮信息服务器产品线总经理赵帅表示,智能时代,开源模型和开放计算激发了人工智能产业生态的创新活力,面对大模
    的头像 发表于 08-15 16:02 275次阅读
    <b class='flag-5'>浪潮信息</b>赵帅:开放计算创新 <b class='flag-5'>应对</b>Scaling Law挑战

    长擎安全操作系统24与浪潮信息HF/AS存储系列成功兼容

    在数字化转型浪潮席卷全球的今天,信息安全与数据存储的稳定高效成为企业不可忽视的两大核心要素。近日,一项重要的技术兼容性测试认证结果揭晓,标志着长擎安全操作系统24与
    的头像 发表于 07-22 16:20 688次阅读

    浪潮信息引领数据编排新纪元,加速释放数据潜能

    在2024年数据基础设施技术峰会的璀璨舞台上,浪潮信息分布式存储产品线架构师Lance Sun博士以其深厚的行业洞察与前瞻视角,发表了题为“高效数据编排,加速释放
    的头像 发表于 07-03 15:30 372次阅读

    浪潮信息推出AIGC存储解决方案

    近日,在科技创新的浪潮中,浪潮信息成功举办了“元脑中国行”全国巡展的杭州站活动,此次盛会不仅汇聚了业界的精英与目光,更见证了浪潮信息在AIGC(人工智能生成内容)领域的一次重大突破。会
    的头像 发表于 07-03 11:16 711次阅读

    浪潮信息推出基于新一代分布式存储平台AS13000G7的AIGC存储解决方案

    、新一代分布式存储AS13000G7自身产品优势,新方案从容应对大模型应用对存储性能、容量以及数据管理等方面的苛刻要求。同时,浪潮信息尝试性
    的头像 发表于 07-01 19:00 1424次阅读
    <b class='flag-5'>浪潮信息</b>推出基于新一代分布式<b class='flag-5'>存储</b>平台AS13000G7的AIGC<b class='flag-5'>存储</b>解决方案

    CCF-TCIST走进浪潮信息 共话AI时代存储创新

    ”活动启动,来自CCF信息存储技术专委会、清华大学、北京大学、华中科技大学、华东师范大学、上海交通大学、上海理工大学等单位的十余位存储领域专家、学者走进浪潮信息,在“大模型
    的头像 发表于 06-07 14:27 280次阅读
    CCF-TCIST走进<b class='flag-5'>浪潮信息</b> 共话AI<b class='flag-5'>时代</b><b class='flag-5'>存储</b>创新

    整数智能浪潮信息携手,共创AI数据管理新纪元

    近日,整数智能浪潮信息两大科技巨头正式签署元脑生态战略合作协议,标志着双方在AI与数据科学领域的合作迈出了坚实步伐。
    的头像 发表于 05-31 11:21 655次阅读

    浪潮信息发布AS13000G7-N系列分布式全闪存储

    浪潮信息近日推出了专为大型AI模型优化的AS13000G7-N系列分布式全闪存储。该系列基于浪潮信息自研的分布式文件系统,结合新一代数据加速引擎DataTurbo,为用户提供卓越的
    的头像 发表于 05-14 10:03 560次阅读

    【中心动态】 走进浪潮信息

    5月8日,RISC-V国际人才培养认证中心主任蒋学刚一行,到访浪潮电子信息产业股份有限公司(以下简称“浪潮信息”),受到深圳区域副总经理段青云、产品经理陶耀民的热情接待。浪潮信息是全球
    的头像 发表于 05-13 17:42 447次阅读
    【中心动态】 走进<b class='flag-5'>浪潮信息</b>

    为大模型专门优化 浪潮信息发布分布式全闪存储AS13000G7-N系列

    北京2024年5月10日 /美通社/ -- 近日,浪潮信息发布为大模型专门优化的分布式全闪存储AS13000G7-N系列。该系列依托浪潮信息自研分布式文件系统,搭载新一代数据加速引擎
    的头像 发表于 05-10 16:37 427次阅读
    为大模型专门优化 <b class='flag-5'>浪潮信息</b>发布分布式全闪<b class='flag-5'>存储</b>AS13000G7-N系列

    浪潮信息发布为大模型专门优化的分布式全闪存储AS13000G7-N系列

    近日,浪潮信息发布为大模型专门优化的分布式全闪存储AS13000G7-N系列。该系列依托浪潮信息自研分布式文件系统,搭载新一代数据加速引擎DataTurbo,
    的头像 发表于 05-08 09:38 552次阅读
    <b class='flag-5'>浪潮信息</b>发布为大模型专门优化的分布式全闪<b class='flag-5'>存储</b>AS13000G7-N系列

    XEDP与KeyarchOS完成浪潮信息澎湃技术认证

    澎湃技术认证。 经联合测试, 双方产品功能兼容性良好,整体运行流畅,性能表现优异,满足用户在云计算、大数据、人工智能等领域对企业级数据存储的多种需求
    的头像 发表于 02-27 17:56 469次阅读
    XEDP与KeyarchOS完成<b class='flag-5'>浪潮信息</b>澎湃技术认证

    智邦国际与KeyarchOS完成浪潮信息澎湃技术认证

    北京2024年1月24日 /美通社/ -- 日前,北京智邦国际软件技术有限公司(简称智邦国际)与KeyarchOS完成浪潮信息澎湃技术认证,经双方测试,智邦国际墨工湖智能制造MOM平台与浪潮信息
    的头像 发表于 01-25 13:51 438次阅读
    智邦国际与KeyarchOS完成<b class='flag-5'>浪潮信息</b>澎湃技术认证

    仪电云云操作系统获得浪潮信息澎湃技术认证

    浪潮信息希望通过此种方式与生态合作伙伴紧密互动,降低客户TCO (总体拥有成本)、缩减投产时间并促使产品和方案不断进步,进而助力各行业依托浪潮信息存储平台实施数字化、智能化转型。
    的头像 发表于 12-27 15:35 774次阅读