Arm平台赋能移动端生成式AI
生成式人工智能 (Generative AI) 涵盖了当下广为人知，且备受关注的大语言模型 (LLM)，如今也已落地边缘侧的移动设备。这意味着，无论是生成图像和视频，还是理解上下文语义，AI 的生成式推理将开始由移动设备进行全权处理，而非交由云端处理后返回结果。
Arm 作为基石技术，使得无处不在的 AI 成为可能，其中就包括移动端的生成式 AI。无论是支持 AI 功能的新款旗舰智能手机，还是直接在 Arm CPU 上处理 LLM，这些振奋人心的开发成果都展现了 Arm 作为基石技术的实际应用价值。
采用 Armv9 架构的 CPU 和 GPU 技术的高性能 AI 智能手机现已问世，其中包括搭载 MediaTek 天玑 9300 的 vivo X100 和 X100 Pro 智能手机、三星 Galaxy S24 以及谷歌 Pixel 8。
这些旗舰移动设备兼顾性能与效率，为 AI 创新提供了前所未有的机遇。事实上，在过去十年间，得益于 Arm CPU 和 GPU 的性能提升，在移动平台上的 AI 处理能力每两年实现翻番。
未来，我们会将更多 AI 性能、技术和功能加入到我们坚实的消费技术路线图中，推动这一趋势不断发展。同样起助推作用的还有当下的边缘侧 AI 推理热潮，以及使用 LLM 等经过训练的模型来驱动基于 AI 的应用，随着更多的 AI 支持和专用指令的加入，CPU 将成为满足这一需求的理想选择。
一切始于 CPU
大多数情况下，移动设备的 AI 功能都始于 CPU，例如对面部、手部和身体动作的追踪，高级的相机效果和滤镜，以及许多社交应用中的细分功能。此类 AI 工作负载的处理可能全权交由 CPU，或是结合 GPU 或 NPU 等协处理器一起提供支持。Arm 的 CPU 设计广泛应用于当今全球数十亿人使用的智能手机系统级芯片 (SoC) 中，对于在终端设备实现 AI 工作负载至关重要。
目前，70% 的第三方应用所使用的 AI 均基于 Arm CPU 运行，包括新发布的社交类、健康类和基于相机功能的应用等。除了设计的普及性，Arm CPU 还具有灵活性和 AI 功能，因此成为了移动设备领域开发者首选的应用 AI 工作负载处理器。
就灵活性而言，Arm CPU 能够以多种数据格式运行各类神经网络。展望未来，未来的 Arm CPU 将在指令集中加入更多 AI 功能，惠及行业领先的 Arm 生态系统，例如适用于 Armv9-A 架构的可扩展矩阵扩展 (Scalable Matrix Extension, SME)，帮助全球开发者为其 AI 应用提供更高的性能、创新功能和可扩展性。
Arm 将领先的硬件水平与软件生态系统支持相结合，打造出高性能计算平台，推动边缘生成式 AI 的兴起，让游戏迭代、图像增强、语言翻译、文本生成和虚拟助手等功能成为可能。我们在今年二月的 2024 世界移动通信大会 (MWC 2024)上展示了部分新一代 AI 工作负载的示例。
Arm 计算平台上的移动端 LLM
我们制作了一个虚拟助手演示，在移动端聊天类应用上使用了 Meta 的 LLAMA2-7B LLM。基于 Arm CPU，无需加速器，即可完全在边缘侧移动设备上运行生成式 AI 工作负载。利用现有的针对 AI 的 CPU 指令，结合 Arm 计算平台（包括 Arm AI 软件库）针对 LLM 的专门的软件优化，我们实现了出色的性能表现。
从上面的视频中可以看出，词元 (Token) 首次响应时间表现优异，文本生成速率接近每秒 10 个词元，高于人们的平均阅读速度。这得益于经过高度优化的 CPU 例程，它来自于由 Arm 工程团队开发的软件库；与 LLAMA2-7B LLM 中的原生实现相比，词元首次响应时间缩短 50%，文本生成速率提高 20%。
此外，AI 开发者也可在 Arm CPU 上利用自己的技术，进一步优化软件，让 LLM 变得更小、更高效、更快速。
LLM 越小、越快，就意味着 AI 处理可以在边缘侧进行。用户可以享受到响应更快、更灵敏的 AI 体验。此外，由于用户数据仅在移动设备本地处理，隐私保护也能做得更好。同时，对于移动端生态系统而言，这种成本更低、可扩展性更强的选择，也更有利于在数十亿移动设备上部署 AI。
推动移动设备上的生成式 AI
作为最为普及的移动端计算平台和高效计算领域的领导者，Arm 担负着在边缘侧实现高效、高性能生成式 AI 的责任。我们已经展示了完全基于我们领先的 CPU 技术所运行的 LLM 的卓越性能。而这仅仅只是开始。
更小、更高效的 LLM，Arm CPU 为移动设备带来的更高性能，以及由业界领先的生态系统所提供的创新软件优化，三者的结合将继续推动移动端生成式 AI 的普及。
鉴于 Arm CPU 是移动端生成式 AI 创新的核心，作为 AI 的运行基础，Arm 将持续赋能每位开发者，实现无处不在的 AI。
审核编辑：刘清
-
加速器
+关注
关注
2文章
796浏览量
37838 -
ARM技术
+关注
关注
0文章
22浏览量
7288 -
人工智能
+关注
关注
1791文章
47183浏览量
238212 -
大模型
+关注
关注
2文章
2423浏览量
2639 -
生成式AI
+关注
关注
0文章
502浏览量
471
原文标题：Arm 平台赋能移动端生成式 AI
文章出处：【微信号：Arm社区，微信公众号：Arm社区】欢迎添加关注！文章转载请注明出处。
发布评论请先 登录
相关推荐
MediaTek天玑移动平台赋能腾讯会议端侧AI人像分割模型
Arm如何赋能无处不在的AI
亚马逊云科技赋能Shulex打造基于生成式AI的客服和消费者洞察
请问移动端生成式AI如何在Arm CPU上运行呢？
玩转大模型 企业AI着陆新正解 神州问学AI原生赋能平台正式发布
联发科发布天玑AI开发套件，赋能终端生成式AI应用
联发科天玑9300+登场，端侧生成式AI刷新业界最高速
MediaTek发布天玑汽车平台新品，赋能智能汽车的体验革新
研华携手群联 共同打造边缘运算与工控应用生成式AI平台
生成式AI手机出货量或将飞速增长，市场份额提升显著
NPU是什么？为何它是开启终端侧生成式AI的关键？
亚马逊云科技助力沐瞳应用生成式AI技术打造卓越游戏体验 赋能业务决策
工商网监
评论