高通NPU和异构计算提升生成式AI性能 -德赢Vwin官网网

生成式AI的变革已悄然降临。面对生成式AI的多元化用例需求和复杂的计算需求，我们亟待拥有专为AI打造的新型计算架构。为此，需要具备新型神经网络处理器（NPU）和中央处理器（CPU）/图形处理器（GPU）等多核处理器的整合能力。通过配备专用的NPU并合理运用各类处理器资源，异构计算可以带来更出色的性能、更高的能效及持续耐久的电池寿命。

处理器的选择就像工具箱里寻找恰当工具，它会极大程度地提升生成式AI体验。

异构计算的重要性不可忽视。根据生成式AI的独特需求和计算负担，需要配备不同的处理器，如专注于AI工作负载的定制设计的NPU、CPU和GPU。每种处理器都有其独特的优点：CPU擅长有序操作和实时响应；GPU擅长并行数据流处理；NPU则专长于标量、向量和张量数学运算，成为核心AI工作负载的首选。这种异构计算策略有助于实现最佳的应用性能、能效和电池寿命，从而缔造出精美的生成式AI用户体验。

截至目前，专为NPU精心研制的NPU技术正随着AI应用场景和模型的演变而不断升级。

到底什么才是神经网络处理器NPU呢？NPU的使命便是以低功耗的方式加速AI推论，因此其架构亦需随着新的AI算法、模型和应用选择而有所升级调整。其主要任务是处理包含了标量、向量和张量数学在内的神经网络层计算以及非线性激活函数。一款优质的NPU需能精确处理相关AI工作负载，以便在目前的AI产业趋势下保持竞争力。

高通公司的第三代人工智能引擎（AI Engine）包含了先进的麻省理工学院授权的Kumu深度学习软件、Hexagon NPU，以及Vulcan向量处理引擎。

在AI行业，高通对异构计算的研究与投入堪称翘楚。其领先的骁龙850移动计算平台采用了全新的高通Hexagon 690 NPU，汇聚 AI Engine和Adreno 640/630 GPU的强大处理能力，实现了AI性能的大幅跃升。此外，这套AI Engine还囊括了先进的Vulkan向量处理引擎以及更为全面的高通传感器中枢和内存子系统等芯端部件。这些部件在终端侧共同协作，为用户提供极速有效的AI应用执行环境。

实践证明，采用骁龙850移动计算平台的设备在AI基准测评和实际生成式AI应用方面均表现出色，硕果累累。

为了更好地赋能开发者，高通推出了自家的AI软件栈（ Qualcomm AI Stack）。利用这个工具包，开发者只需要编写一次代码，就能任意地点进行应用开发和适应性扩容。

通过将技术领导力、定制芯片设计、全栈AI优化和生态系统赋能充分结合，高通技术公司在推动终端侧生成式AI开发和应用方面独树一帜。高通技术公司正在赋能终端侧生成式AI的规模化扩展。

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

处理器

处理器

+关注

关注
68

文章
19259

浏览量
229638
cpu

cpu

+关注

关注
68

文章
10854

浏览量
211563
生成式AI

生成式AI

+关注

关注
0

文章
502

浏览量
471

NVIDIA 推出高性价比的生成式 AI 超级计算机

Jetson Orin Nano Super 可将生成式 AI 性能提升至1.7 倍，支持科技爱好者、开发者和学生使用的主流模型。

发表于 12-18 17:01 •285次阅读

NVIDIA 推出高性价比的<b class='flag-5'>生成</b><b class='flag-5'>式</b> <b class='flag-5'>AI</b> 超级<b class='flag-5'>计算</b>机

【一文看懂】什么是异构计算？

随着人工智能、深度学习、大数据处理等技术的快速发展，计算需求的复杂性不断提升。传统的单一计算架构已难以满足高效处理复杂任务的要求，异构计算因此应运而生，成为现代

发表于 12-04 01:06 •1338次阅读

详解Arm计算平台的优势

对于人工智能 (AI) 而言，任何单一硬件或计算组件都无法成为适合各类工作负载的万能解决方案。AI 贯穿从云端到边缘侧的整个现代计算领域，为了满足不同的

发表于 12-03 16:53 •274次阅读

NPU技术如何提升AI性能

随着人工智能技术的飞速发展，深度学习作为AI领域的核心驱动力，对计算能力的需求日益增长。NPU技术应运而生，为AI性能的

发表于 11-15 09:11 •411次阅读

生成式AI工具作用

生成式AI工具是指那些能够自动生成文本、图像、音频、视频等多种类型数据的人工智能技术。在此，petacloud.ai小编为您整理

发表于 10-28 11:19 •223次阅读

天玑9400生成式AI技术太牛了！打造最强AI体验

的天玑9400不仅在AI性能上全面升级，还进一步推动了手机端生成式AI的应用与创新。 NPU

发表于 10-14 14:06 •258次阅读

天玑9400<b class='flag-5'>生成</b><b class='flag-5'>式</b><b class='flag-5'>AI</b>技术太牛了！打造最强<b class='flag-5'>AI</b>体验

深蕾半导体ASTRA AI详细介绍

ASTRA AI芯片是一种集成了多种计算单元（包括NPU/uNPU、GPU、CPU、DSP等）的异构计算系统级芯片（SOC），专为处理复杂的人工智能（

发表于 09-12 16:49 •353次阅读

安谋科技异构算力组合，破局生成式AI算力挑战

，“此芯P1”不仅异构集成了Armv9 CPU核心与Arm Immortalis GPU，还搭载了安谋科技（中国）有限公司（以下简称“安谋科技”）“周易”NPU等自研业务产品。凭借高能效的异构算力资源、系统级的安全保障以及强大的

发表于 08-13 09:12 •550次阅读

打造异构计算新标杆！国数集联发布首款CXL混合资源池参考设计

参考设计是首个支持异构计算架构的CXL硬件设备，标志着CXL技术在数据中心领域迎来异构计算新阶段。国数集联基于FPGA与自主研发的CXL协议IP的先进特性，可实现CPU、GPU、DDR、SSD

发表于 08-06 14:19 •310次阅读

打造<b class='flag-5'>异构计算</b>新标杆！国数集联发布首款CXL混合资源池参考设计

AvaotaA1全志T527开发板AMP异构计算简介

Avaota SBC 的部分平台内具有小核心 CPU，与大核心一起组成了异构计算的功能。在异构多处理系统中，主核心和辅助核心的存在旨在共同协作，以实现更高效的任务处理。这种协作需要系统采取一系列

发表于 07-24 09:54

异构计算：解锁算力潜能的新途径

在这个数据爆炸的时代，计算力是推动社会与科技创新的核心。从日常智能设备的流畅运行到超级计算机的尖端模拟，均依赖强大的计算能力。但面对多样化的复杂计算任务，单一处理器难以胜任。于是，

发表于 07-18 08:28 •7817次阅读

NPU和AI TOPS是什么？它们有哪些性能？

在当今快速发展的技术环境中，AI正在变革各行各业并推动创新，理解AI性能指标的复杂性至关重要。过去许多AI模型需要在云端运行。当我们走向由终端侧生成

发表于 06-13 10:33 •807次阅读

生成式AI加速向终端侧演进，NPU、异构计算提供强大算力支持

的400亿美元，增长至2032年的1.3万亿美元，年复合增速达到42%。生成式AI 向终端快速演进当前大部分生成式

发表于 03-16 00:16 •2861次阅读

日系车企加速推进生成式AI技术应用

首先，丰田公司已开始在美国的研发分支机构Toyota Research Institute（丰田研究院，TRI）运用图像生成式AI，以根据汽车外观设计图计算空气阻抗系数，进行相应设计调

发表于 03-13 14:05 •514次阅读

NPU是什么？为何它是开启终端侧生成式AI的关键？

)，同时要利用异构处理器组合，比如中央处理器(CPU)和图形处理器(GPU)。通过结合NPU使用合适的处理器，异构计算能够实现最佳应用性能、能效和电池续航，赋能全新增强的

发表于 03-07 11:25 •2081次阅读

搜索历史

高通NPU和异构计算提升生成式AI性能

评论