Ambarella展示了在其CV3-AD芯片上运行LLM的能力-德赢Vwin官网网

Ambarella前不久展示了在其CV3-AD 芯片上运行LLM的能力。这款芯片是CV3系列中最强大的，专为自动驾驶设计。

CV3-AD一年前开始出样，使用Ambarella现有的AI软件堆栈，运行Llama2-13B模型时，可以实现每秒推理25个token。

Ambarella的CEO Fermi Wang表示：“当transformer在今年早些时候变得流行时，我们开始问自己，我们拥有一个强大的推理引擎，我们能做到吗？我们进行了一些快速研究，发现我们确实可以。我们估计我们的性能可能接近Nvidia A100。”

Ambarella工程师正在展示Llama2-13B在CV3-AD上的实时演示，CV3-AD是一款50W的自动驾驶芯片。

Ambarella芯片上的CVFlow引擎包括其NVP（Neural Vector Processor）和一个GVP（General Vector Processor），演示中的LLM正在NVP上运行。NVP采用数据流架构，Ambarella已将诸如卷积之类的高级运算符指令组合成图表，描述数据如何通过处理器进行该运算符的处理。所有这些运算符之间的通信都使用片上内存完成。CV3系列使用LPDDR5（而非HBM），功耗约为50W。

Ambarella的CTO Les Kohn表示，LLM演示确实需要一些新软件。实现transformer架构核心操作的构建模块，目前这些操作针对的是像Llama2这样的模型。

他说：“随着时间的推移，我们将扩展这些功能以覆盖其它模型，但Llama2正在成为开源世界的事实标准。这绝对是一项不小的投资，但与从头开始开发软件相比，还差得远。”

Edge LLM发展路线图‍‍‍‍‍

Wang表示：“现在我们知道我们拥有这项技术，我们可以解决一些实际问题。如果你与LLM的研发人员交谈，问他们最头疼的是什么，一个显然是价格，另一个是功耗。”

CV3-AD设计用于50W的功率范围（包括整个芯片的功率，不仅仅是AI加速器）。因此，Wang希望Ambarella能够以大约四分之一的功耗，为LLM提供与A100相似的性能。

他说：“这意味着对于固定的数据中心功率，我可以增加四倍的AI性能。这是巨大的价值。尽管这种想法很简单，但我们相信我们可以为渴望使用LLM的任何人提供价值。在过去的六个月里，渴望使用LLM的人数迅速增加。”

虽然超大规模计算中心可能是首批跟进LLM趋势的，但Ambarella在安防摄像头和汽车领域的现有客户开始考虑如何在他们的边缘系统中实施LLM，以及LLM将如何实施他们的发展路线图。

Wang说：“我们相信LLM将成为我们需要在路线图中为当前客户提供的重要技术。当前的CV3可以运行LLM，而无需Ambarella进行太多额外的工程投资，所以这对我们来说并非分心之事。我们当前的市场在他们的路线图中已经有了LLM。” 多模态AI‍‍‍‍ Kohn指出，在边缘计算中，具有生成文本和图像能力的大型多模态生成型AI潜力日益增大。

他说：“对于像机器人这样的应用，transformer网络已经可以用于计算机视觉处理，这比任何传统计算机视觉模型都要强大，因为这种模型可以处理零样本学习，这是小模型无法做到的。”

零样本学习指的是模型能够推断出在其训练数据中未出现的对象类别的信息。这意味着模型可以以更强大的方式预测和处理边缘情况，这在自动系统中尤其重要。

他补充说：“自动驾驶本质上是一种机器人应用：如果你看看L4/L5系统需要什么，很明显你需要更强大、更通用的AI模型，这些模型能以更类似于人类的方式理解世界，超越我们今天的水平。我们将这看作是为各种边缘应用获取更强大的AI处理能力的一种方式。”

LLM发展路线图‍‍

问及Ambarella是否会制造专门针对LLM的边缘芯片时，Wang表示：“这可能是我们需要考虑的事情。我们需要一个具有更多AI性能的LLM路线图。LLM本身需要大量的DRAM带宽，这几乎使得在芯片上集成其他功能变得不可能（因为其他功能也需要DRAM带宽）。”

Wang说，尽管在某些人看来，一个大型信息娱乐芯片应该能够同时处理其他工作负载和LLM，但目前这是不可能的。LLM所需的性能和带宽或多或少地需要一个单独的加速器。

Kohn补充说：“这取决于模型的大小。我们可能会看到目前使用的模型比较小的版本应用于像机器人学这样的领域，因为它们不需要处理大型模型所做的所有通用事务。但与此同时，人们希望有更强大的性能。所以，我认为最终我们将看到未来更优化的解决方案，它们将被应用于不同的价格/性能点。”

在边缘计算之外，CV3系列也有可能在数据中心中使用。Kohn说，CV3系列有多个PCIe接口，这在多芯片系统中可能很有用。他还补充说，该公司已经有一个可以利用的PCIe卡。

Wang表示：“对我们来说，真正的问题是，‘我们能否将当前产品和未来产品销售到超大规模计算中心或基于云的解决方案中？’这是一个我们还没有回答的问题，但我们已经确认了技术的可行性，并且我们有一些差异化。我们知道我们可以将这种产品销售到边缘设备和边缘服务器。我们正在制定一个计划，希望如果我们想要进入基于云的解决方案，我们可以证明进一步投资是合理的。”

审核编辑：刘清

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

处理器

处理器

+关注

关注
68

文章
19259

浏览量
229651
机器人

机器人

+关注

关注
211

文章
28379

浏览量
206914
LPDDR5

LPDDR5

+关注

关注
2

文章
89

浏览量
12062
自动驾驶芯片

自动驾驶芯片

+关注

关注
3

文章
47

浏览量
5088
LLM

LLM

+关注

关注
0

文章
286

浏览量
327

原文标题：Ambarella展示在自动驾驶芯片上的LLM推理能力

文章出处：【微信号：Astroys，微信公众号：Astroys】欢迎添加关注！文章转载请注明出处。

Arm KleidiAI助力提升PyTorch上LLM推理性能

热门的深度学习框架尤为突出，许多企业均会选择其作为开发 AI 应用的库。通过部署 Arm Kleidi 技术，Arm 正在努力优化 PyTorch，以加速在基于 Arm 架构的处理器上运行 LLM 的性能。Arm 通过将 Kle

发表于 12-03 17:05 •735次阅读

Arm KleidiAI助力提升PyTorch<b class='flag-5'>上</b><b class='flag-5'>LLM</b>推理性能

树莓派跑LLM难上手?也许你可以试试Intel哪吒开发板

大型语言模型（LLM）通过其卓越的文本理解与生成能力，为机器智能带来了革命性的进步。然而，这些模型的运行通常需要消耗大量的计算资源，因此它们主要部署在性能强大的服务器上。随着技术的发

发表于 12-02 09:43 •301次阅读

树莓派跑<b class='flag-5'>LLM</b>难上手?也许你可以试试Intel哪吒开发板

如何在 OrangePi 5 Pro 的 NPU 上运行 LLM

在OrangePi5Pro上访问NPU需要安装最新版Ubuntu的定制版本，还需要安装特殊软件，让你能在NPU而不是CPU上运行专门转换的LLM。整个过程肯定要比运行Ollama复杂得

发表于 11-28 14:55 •371次阅读

如何在 OrangePi 5 Pro 的 NPU <b class='flag-5'>上</b><b class='flag-5'>运行</b> <b class='flag-5'>LLM</b>

NVIDIA TensorRT-LLM Roadmap现已在GitHub上公开发布

感谢众多用户及合作伙伴一直以来对NVIDIA TensorRT-LLM的支持。TensorRT-LLM 的 Roadmap 现已在 GitHub 上公开发布！

发表于 11-28 10:43 •255次阅读

NVIDIA TensorRT-<b class='flag-5'>LLM</b> Roadmap现已在GitHub<b class='flag-5'>上</b>公开发布

什么是LLM？LLM在自然语言处理中的应用

随着人工智能技术的飞速发展，自然语言处理（NLP）领域迎来了革命性的进步。其中，大型语言模型（LLM）的出现，标志着我们对语言理解能力的一次飞跃。LLM通过深度学习和海量数据训练，使得机器能够以前

发表于 11-19 15:32 •523次阅读

LLM预训练的基本概念、基本原理和主要优势

理解和生成自然语言的能力，为各种NLP任务提供了强大的支持。本文将详细介绍LLM预训练的基本概念、基本原理以及主要优势，并附上相关的代码示例。

发表于 07-10 11:03 •1063次阅读

大模型LLM与ChatGPT的技术原理

与机器的交互方式。这些技术通过深度学习和自然语言生成（Natural Language Generation, NLG）的结合，实现了对复杂语言任务的高效处理。本文将深入探讨大模型LLM和ChatGPT的技术原理，并通过代码示例展示

发表于 07-10 10:38 •809次阅读

LLM模型的应用领域

在本文中，我们将深入探讨LLM（Large Language Model，大型语言模型）的应用领域。LLM是一种基于深度学习的人工智能技术，它能够理解和生成自然语言文本。近年来，随着计算能力的提高

发表于 07-09 09:52 •575次阅读

什么是LLM？LLM的工作原理和结构

随着人工智能技术的飞速发展，大型语言模型（Large Language Model，简称LLM）逐渐成为自然语言处理（NLP）领域的研究热点。LLM以其强大的文本生成、理解和推理能力，在文本

发表于 07-02 11:45 •7600次阅读

Meta发布基于Code Llama的LLM编译器

近日，科技巨头Meta在其X平台上正式宣布推出了一款革命性的LLM编译器，这一模型家族基于Meta Code Llama构建，并融合了先进的代码优化和编译器功能。LLM编译器的推出，标

发表于 06-29 17:54 •1489次阅读

【算能RADXA微服务器试用体验】+ GPT语音与视觉交互：1，LLM部署

。环境变量的配置，未来在具体项目中我们会再次提到。下面我们正式开始项目。项目从输入到输出分别涉及了语音识别，图像识别，LLM，TTS这几个与AI相关的模块。先从最核心的LLM开始。由于LLAMA

发表于 06-25 15:02

100%在树莓派上执行的LLM项目

ChatGPT的人性口语化回复相信许多人已体验过，也因此掀起一波大型语言模型（Large Language Model, LLM）热潮，LLM即ChatGPT背后的主运作技术，但LLM运作需要庞大运算力，因此目前多是在云端（Cl

发表于 02-29 16:29 •1331次阅读

超级芯片：云时代的潜在颠覆者

苹果已经开始谈论在其芯片中增加更高端计算能力，此前，英特尔和英伟达也做出了类似的努力。这些新功能旨在在设备上实现更多的大型语言模型（LLM）

发表于 01-19 11:08 •651次阅读

CV3域控芯片家族又添两员！各档规格完整覆盖，软件功能全面兼容

CV3-AD635 和 CV3-AD655 还集成了一对双核 Cortex R52 CPU。这些 SoC 符合芯片ASIL-B 功能安全标准，其功能安全岛符合 ASIL-D标准。此外，两款芯片

发表于 01-11 16:44 •1001次阅读

安霸CV3-AD685 AI域控芯片助力Kodiak开发下一代自动驾驶卡车

安霸的 CV3-AD685 AI 域控芯片来开发其新一代自动驾驶卡车使用的嵌入式计算解决方案。通过该芯片，Kodiak 的域控制器支持多个摄像头、激光雷达和毫米波雷达的同时输入，并通过 CVflow

发表于 01-03 10:08 •1563次阅读

搜索历史

Ambarella展示了在其CV3-AD芯片上运行LLM的能力

评论

Arm KleidiAI助力提升PyTorch上LLM推理性能

树莓派跑LLM难上手?也许你可以试试Intel哪吒开发板

如何在 OrangePi 5 Pro 的 NPU 上运行 LLM

NVIDIA TensorRT-LLM Roadmap现已在GitHub上公开发布

什么是LLM？LLM在自然语言处理中的应用

LLM预训练的基本概念、基本原理和主要优势

大模型LLM与ChatGPT的技术原理

LLM模型的应用领域

什么是LLM？LLM的工作原理和结构

Meta发布基于Code Llama的LLM编译器

【算能RADXA微服务器试用体验】+ GPT语音与视觉交互：1，LLM部署

100%在树莓派上执行的LLM项目

超级芯片：云时代的潜在颠覆者

CV3域控芯片家族又添两员！各档规格完整覆盖，软件功能全面兼容

安霸CV3-AD685 AI域控芯片助力Kodiak开发下一代自动驾驶卡车