大模型技术持续突破前沿,如何加速向产业“下沉”?
3月23~24日,2024全球开发者先锋大会(GDC)在上海成功举办。期间,商汤科技大装置执行总监成功,以及商汤科技大装置产品总监陈希受邀出席大会分论坛活动,围绕大模型前沿开发、智能计算创新等话题分享前瞻洞见,共话智能生态构建。
以体系化基础能力支撑,加速大模型向下演进
去年以来,生成式AI取得了飞跃式的发展,并不断从单一模态向多模态演进。那么,还有哪些因素是大模型发展的关键?
在GDC 2024大模型前沿论坛上,商汤科技大装置执行总监成功认为,大模型在很多场景下已经具备了强大的基础能力,但在推理和规划执行能力方面还需要继续突破。同时,效率和成本也是大模型发展的关键因素,需要以更低的成本、更快的速度触达应用并形成闭环。
其一是多模态融合的挑战,需要有效地将更多不同模态进行深度融合,提高模型对多模态数据的理解和处理能力。
其二是模型性能与成本平衡的挑战,需要在模型小型化的同时尽可能保持原有模型性能,特别是满足个人场景下端侧模型、端云协同的应用需求。
此外,随着大模型尺度的提升和训练数据的增加,行业还需要一套高效的大规模基础设施,以提供包括高质量的数据管线、全面的评价体系、完善的工具链等体系化的底层支撑。
成功表示,SenseCore 商汤大装置沉淀了整套大模型基础设施能力,不仅可服务于众多企业和科研院所的开发者,很快也会向个人开发者全面开放。
在AI基础设施之上,SenseCore 商汤大装置将推出全新升级的大模型服务平台和开发者工具,并向社区免费提供千万级算力补贴、万亿token大模型调用资源。 商汤希望通过大装置激发整个社区的力量,携手更多开发者共同探索大模型能力前沿,拓展技术边界。
高效率、低成本智算基础设施
赋能AI生产新范式
大模型时代,计算量、模型参数和数据集规模都在快速增长从而不断推升模型的“智能”水平,其背后遵循的就是尺度定律。同时,随着AI在各行各业的落地向深水区挺进,人工智能基础设施化已成为必然趋势。
在GDC 2024曙光智能计算开发者讲坛上,商汤科技大装置产品总监陈希分享了依托SenseCore商汤大装置,商汤科技在智能计算领域的探索和实践。
第一,加速国产算力布局。通过与众多国产算力厂商合作,商汤与上下游产业伙伴共同推动国产生态建设,完成多款芯片与框架适配,落地1500P国产算力集群,积极推进芯片评价标准和体系的完善,加速整个国产算力商业化进程。
第二,持续探索尺度定律边界。随着大模型的参数量朝向万亿以上级别激增,稳定、高效的超大规模算力调度和训推引擎成为核心基石。 SenseCore 商汤大装置拥有万卡规模异构算力池,可满足万亿参数大模型训推需求,实现分钟级容错以达成30天以上大规模长时间训练不间断。 另外在推理侧,自研推理引擎在大语言、多模态模型性能表现提升2倍;通过训练、微调、推理混部,资源利用率提升40%,为用户提供极致性价比服务。
第三,建设面向开发者友好的AI基础设施。面对愈发高频次、高效率的模型迭代需求,SenseCore商汤大装置拥有领先的AI 原生云算力产品体系,为客户打造0门槛,一站式的极致开发体验,缩短大模型开发周期。
根据国际知名调研机构弗若斯特沙利文(Frost & Sullivan)联合头豹研究院发布的《2023年中国AI开发平台市场报告》,商汤大装置成为AI开发平台领军者,市场综合竞争表现国内第一,全球位居第二,仅次于亚马逊云。 以人工智能大模型开发、生产、应用为核心,商汤致力于通过高效率、低成本、规模化的下一代的人工智能基础设施与服务,深化AI算力生态建设,助力发展数字经济产业全生态。
审核编辑:刘清
-
人工智能
+关注
关注
1791文章
47182浏览量
238198 -
商汤科技
+关注
关注
8文章
508浏览量
36083 -
大模型
+关注
关注
2文章
2423浏览量
2637 -
生成式AI
+关注
关注
0文章
502浏览量
471
原文标题:GDC 2024 | 商汤大装置加速大模型能力下沉,构建智能计算新生态
文章出处:【微信号:SenseTime2017,微信公众号:商汤科技SenseTime】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
相关推荐
评论