墨芯Antoum芯片赋能大模型在各行各业的落地
近日，墨芯人工智能携AntoumⓇ芯片亮相芯片行业的国际顶级大会Hot Chips 2023，墨芯首席架构师肖志斌博士在大会Tutorials上发表对行业趋势的分享，并在Conference Day介绍AntoumⓇ的创新架构。
一年一度的Hot Chips是全球芯片产业界影响力最大的活动，被誉为“芯片产业的风向标”，每年都有来自业界前沿的众多头部企业，发布最新产品与创新技术。
今年Hot Chips云集了NVIDIA、高通、英特尔、AMD等芯片巨头，与墨芯等代表性初创企业，介绍前沿技术与企业最新成果。
肖志斌博士进行《Moffett AntoumⓇ: A Deep-Sparse AI Inference System-on-Chip for Vision and Large Language Models》主题分享，介绍了的AntoumⓇ芯片的创新架构，及AntoumⓇ在大语言模型、计算机视觉等任务上的优势与特点。
由于深度学习模型复杂性的提升及模型的广泛应用，AI计算需求呈指数级增长。尤其是ChatGPT掀起大模型浪潮后，算力供需不平衡的问题日益突出。针对算力难题，墨芯推出全球首颗高倍率稀疏芯片AntoumⓇ，实现了更高的推理效率与能效比。
AntoumⓇ独特的稀疏计算单元SPU（Sparse Processing Unit），可以在负载均衡的情况下进行并行计算，并且只计算非零值，即忽略零元素的存储、搬移、计算，大大提高了计算单元的利用率，进而减少功耗与延时，同时增加吞吐率。SPU载有Deep Sparse Tensor Core（深度稀疏张量核心），实现稀疏神经网络的高模型精度和高硬件利用效率。
除了利用稀疏处理单元（SPU）支持深度稀疏性之外，AntoumⓇ还采用了特定领域架构，将各种特殊功能加速器以及内部设计的矢量处理单元与可扩展的片上网络连接起来。
AntoumⓇ共有 32 个 SPU，支持 BF16 和 INT8 数据精度，密集吞吐量为 14.7 TFLOPS 和 29.5 TOPS，在 32 倍稀疏性条件下可实现相当于 471.8 TFLOPS 和 943.6 TOPS 的性能。
此外，AntoumⓇ芯片还具有多个亮点：
存储器层次结构包含总计 82 MB 的片上 SRAM，由 SPU、VPU 和特殊功能加速器共享。
特殊功能加速器包括激活功能、TOPK、Transpose、嵌入式查找以及图像预处理和后处理功能。
高带宽环形互连连接四个 NNCore 子系统，支持模型并行化和张量并行化。
专用硬件视频编解码引擎和 JPEG 解码引擎。四个视频解码器引擎和一个视频编码引擎可处理多通道视频流（高达 4K），并可轻松将可扩展的深度学习集成到视频处理中。集成的 8 个硬件 JPEG 解码器可载 CPU 密集型 JPEG 解码任务，并能以超过 2000 FPS 的速度解码 1080p JPEG 图像。
PCIe Gen3 x 16 和 20 GB LPDDR4x 内存，理论峰值内存带宽高达 84 GB/s，功耗仅为 70 W。
在软件方面，AntoumⓇ由墨芯 SparseRT 软件开发环境支持，为加速开发提供了一个完整的、可扩展的平台，并增强了稀疏计算的能力。现有的机器学习（ML）框架，如 TensorFlow、PyTorch、ONNX 和 MXNet，都能得到SparseRT 全面高效的支持。独特的 SparseOPT 模型压缩工具可为AI模型提供4倍到32倍的稀疏压缩。这样就可以轻松集成到现有的模型交付中，释放大模型的潜力。
AntoumⓇ芯片的优异性能，已在连续两届权威测评MLPerf中得到验证。同时，基于AntoumⓇ的墨芯第一代AI计算卡产品已实现量产，并已在互联网、生命科学、智慧交通等领域落地，产业化接连取得重要进展。墨芯将持续为客户带来高效的大模型算力方案，赋能大模型在各行各业的落地。
审核编辑：彭菁
-
芯片
+关注
关注
455文章
50711浏览量
423104 -
软件开发
+关注
关注
0文章
612浏览量
27353 -
墨芯
+关注
关注
0文章
8浏览量
1054 -
大模型
+关注
关注
2文章
2423浏览量
2637
原文标题：墨芯携Antoum芯片 亮相行业国际顶会Hot Chips 2023
文章出处：【微信号：墨芯人工智能，微信公众号：墨芯人工智能】欢迎添加关注！文章转载请注明出处。
发布评论请先 登录
相关推荐
大模型加速赋能行业 讯飞星火引领大模型规模化落地时代
达实智能在各行各业的应用案例
单北斗赋能各行各业，顶坚工作记录仪开启智能化管理
RISC-V Summit China 2024 | 青稞RISC-V+接口PHY，赋能RISC-V高效落地
精准记录，高效分析：单北斗现场记录仪在各行各业的应用
华邦电子为边缘设备打造生成式AI性能
智能微型断路器，广泛应用，赋能各行各业电力升级
为什么加速数据处理对各行各业的AI创新都至关重要
数字EDA赋能RISC-V落地演进技术研讨会成功举办
数字EDA赋能RISC-V落地演进技术研讨会成功举办
华为推出ICN Master解决方案，率先将大模型应用到核心网运维领域
IC咖啡沙龙“芯未来”公益讲座丨仇健乐：RISC-V指令架构赋能端侧智能芯片产业化落地
青云科技联手摩尔线程，构建国产算力繁荣生态
多模态加持芯底座，大模型提速AI未来，星宸科技2023开发者大会暨产品发布会圆满落幕
工商网监
评论