支持大模型部署和运行的边缘计算SoC芯片
电子发烧友网报道（文/李弯弯）如今，AI在边缘侧的应用越来越广泛，这其中少不了AI SoC芯片的支持，边缘计算AI SoC是一种集成了人工智能（AI）和边缘计算能力的系统级芯片。这种芯片结合了高性能的处理器核心、AI加速器、内存控制器、外设接口以及通信接口等关键组件，旨在在数据产生的源头附近（即边缘）实现实时的数据处理、分析和决策。
边缘计算SoC的发展历程
SoC的发展经历了多个阶段，早期阶段（1970年代至1980年代），微处理器技术开始兴起，英特尔（Intel）推出了第一款微处理器Intel 4004，这通常被认为是SoC技术的起点。随着制造工艺的改进，设计师开始将更复杂的元素（如中央处理器CPU、内存和输入/输出I/O电路）集成到单个芯片上，创建更先进的应用特定集成电路（ASIC）。
进一步发展阶段（1990年代至2000年代）：随着半导体工艺技术的进一步发展，将整个系统（包括vwin 和数字功能）集成到单个芯片上成为可能。这为边缘计算提供了更强大的硬件支持，因为边缘设备需要具备一定的数据处理和计算能力。在这个时期，SoC的设计变得更加复杂，集成了更多的功能和组件，如图形处理器（GPU）、数字信号处理器（DSP）等。
定制化SoC的发展（2010年代）：随着物联网（IoT）应用、可穿戴设备以及边缘计算设备的需求不断增加，制造商开始针对特定用例调整SoC设计，整合人工智能（AI）和机器学习（ML）功能。这推动了定制化SoC的发展，使其能够更好地满足特定应用的需求，提高性能和效率。
AI与SoC的深度融合（2020年代及以后）：随着进入AI、5G连接和边缘计算时代，SoC继续演变以适应不断增长的复杂性和处理要求。AI技术成为SoC架构的重要组成部分，为边缘设备提供了更强大的智能处理能力。例如，通过集成AI加速器、神经网络处理器（NPU）等专用硬件，SoC可以加速AI算法的执行，提高处理速度和效率。
如今，边缘计算AI SoC的应用涵盖多个领域和行业。如智能制造，在通过安装集成了AI SoC的边缘计算设备，可以实时监测生产设备的运行状态、产品质量等信息。这些设备能够实时分析数据，预测设备故障，优化生产流程，提高生产效率和产品质量。
再如智慧城市，在智能交通系统中，边缘计算AI SoC可以实时分析交通流量、车辆行驶轨迹等数据，优化交通信号灯的控制策略，缓解交通拥堵。在智能安防领域，通过在城市各个角落部署边缘计算设备，可以实时监测城市的安全状况，进行人脸识别、行为分析等操作，提高城市的公共安全水平。
还有医疗领域，在医院中，边缘计算AI SoC可以实时监测患者的生理数据，如心率、血压、血糖等。通过对这些数据的实时分析，医生可以及时了解患者的健康状况，为患者提供更加准确的诊断和治疗方案。在远程医疗领域，边缘计算AI SoC可以实现远程会诊、远程手术等功能。医生可以通过远程访问患者的医疗数据，进行远程诊断和治疗，提高医疗服务的效率和可及性。
边缘AI SoC支持大模型
随着大模型的发展，其在边端侧的部署应用成为趋势，如今也有不少企业推出边缘SoC芯片支持大模型的运行。如边缘AI半导体公司安霸（Ambarella），日前在美国 AutoSens 展会宣布推出两款用于车载车队远程信息处理系统的最新一代 AI 系统集成芯片（SoC）。
新款 CV75AX 非常适合集成前置 ADAS 和驾驶员监控系统（DMS）的 AI 行车记录仪，与安霸上一代SoC相比，其 AI 性能提高了 2 倍，使最新的Transformer神经网络能够提高准确性并减少误报，而无需针对每个对象进行训练。
新款CV72AX 非常适合下一代车载网关，支持多达10个摄像头，其AI性能比其前代产品高出6倍，支持视觉Transformer和多模态视觉语言模型（VLM ) ，可提供实时监测预警，以及多通道视频预分类和自然语言搜索，以实现更高效的视频分析。
安霸此前就宣布推出了基于 CV72 芯片的多模态大模型推理解决方案——Cooper Mini。这一解决方案是为边缘计算环境量身定制的，特别适用于需要在设备上直接进行高级数据处理的应用。安霸在2024年CES期间推出了基于N1的多模态大模型解决方案 Cooper Max，通过单颗N1芯片支持高达340亿参数的多模态大模型推理。新推出的基于CV72 的Cooper Mini，则可实现低功耗系统单芯片高达30亿参数的多模态大模型推理。
还有AMD此前推出的第二代Versal自适应SoC，其中的Versal AI Edge系列特别针对AI驱动型嵌入式系统进行了设计。这款SOC每瓦TOPS（每秒万亿次操作/瓦特）最多提升3倍，标量算力最多提升10倍，使其能够更有效地支持大模型的部署和运行。
国内的云天励飞也有一款边缘计算芯片DeepEdge10，这是一款国产Chiplet大模型推理芯片，内置自研新一代神经网络处理器NNP400T，通过D2D高速互联Chiplet技术、C2CMesh互联架构实现算力扩展，能够支持千亿级参数大模型，落地于边缘设备和边缘服务器。
还有北京奕斯伟推出的一款边缘计算SoC芯片EIC7700X，采用64位RISC-V高性能处理器，并搭配自主研发的高效神经网络计算单元，支持全栈浮点计算，全面加速生成式大模型。它拥有丰富的外围扩展接口，并具备强大的音视频处理能力，在计算机视觉应用领域具有超高的适应能力。
写在最后
总之，边缘计算AI SOC在当前的计算领域具有显著的优势，包括效率高、功耗低、安全性高、实时分析、分布式处理等，凭借着诸多优势，边缘计算SOC已经在各个领域得到应用。同时，也有不少边缘SOC能够支持大模型的运行。不过边缘计算SOC也仍然尤其局限性，如定制化成本高、技术更新迅速、数据隐私和安全挑战等，需要持续去突破。
边缘计算SoC的发展历程
SoC的发展经历了多个阶段，早期阶段（1970年代至1980年代），微处理器技术开始兴起，英特尔（Intel）推出了第一款微处理器Intel 4004，这通常被认为是SoC技术的起点。随着制造工艺的改进，设计师开始将更复杂的元素（如中央处理器CPU、内存和输入/输出I/O电路）集成到单个芯片上，创建更先进的应用特定集成电路（ASIC）。
进一步发展阶段（1990年代至2000年代）：随着半导体工艺技术的进一步发展，将整个系统（包括vwin 和数字功能）集成到单个芯片上成为可能。这为边缘计算提供了更强大的硬件支持，因为边缘设备需要具备一定的数据处理和计算能力。在这个时期，SoC的设计变得更加复杂，集成了更多的功能和组件，如图形处理器（GPU）、数字信号处理器（DSP）等。
定制化SoC的发展（2010年代）：随着物联网（IoT）应用、可穿戴设备以及边缘计算设备的需求不断增加，制造商开始针对特定用例调整SoC设计，整合人工智能（AI）和机器学习（ML）功能。这推动了定制化SoC的发展，使其能够更好地满足特定应用的需求，提高性能和效率。
AI与SoC的深度融合（2020年代及以后）：随着进入AI、5G连接和边缘计算时代，SoC继续演变以适应不断增长的复杂性和处理要求。AI技术成为SoC架构的重要组成部分，为边缘设备提供了更强大的智能处理能力。例如，通过集成AI加速器、神经网络处理器（NPU）等专用硬件，SoC可以加速AI算法的执行，提高处理速度和效率。
如今，边缘计算AI SoC的应用涵盖多个领域和行业。如智能制造，在通过安装集成了AI SoC的边缘计算设备，可以实时监测生产设备的运行状态、产品质量等信息。这些设备能够实时分析数据，预测设备故障，优化生产流程，提高生产效率和产品质量。
再如智慧城市，在智能交通系统中，边缘计算AI SoC可以实时分析交通流量、车辆行驶轨迹等数据，优化交通信号灯的控制策略，缓解交通拥堵。在智能安防领域，通过在城市各个角落部署边缘计算设备，可以实时监测城市的安全状况，进行人脸识别、行为分析等操作，提高城市的公共安全水平。
还有医疗领域，在医院中，边缘计算AI SoC可以实时监测患者的生理数据，如心率、血压、血糖等。通过对这些数据的实时分析，医生可以及时了解患者的健康状况，为患者提供更加准确的诊断和治疗方案。在远程医疗领域，边缘计算AI SoC可以实现远程会诊、远程手术等功能。医生可以通过远程访问患者的医疗数据，进行远程诊断和治疗，提高医疗服务的效率和可及性。
边缘AI SoC支持大模型
随着大模型的发展，其在边端侧的部署应用成为趋势，如今也有不少企业推出边缘SoC芯片支持大模型的运行。如边缘AI半导体公司安霸（Ambarella），日前在美国 AutoSens 展会宣布推出两款用于车载车队远程信息处理系统的最新一代 AI 系统集成芯片（SoC）。
新款 CV75AX 非常适合集成前置 ADAS 和驾驶员监控系统（DMS）的 AI 行车记录仪，与安霸上一代SoC相比，其 AI 性能提高了 2 倍，使最新的Transformer神经网络能够提高准确性并减少误报，而无需针对每个对象进行训练。
新款CV72AX 非常适合下一代车载网关，支持多达10个摄像头，其AI性能比其前代产品高出6倍，支持视觉Transformer和多模态视觉语言模型（VLM ) ，可提供实时监测预警，以及多通道视频预分类和自然语言搜索，以实现更高效的视频分析。
安霸此前就宣布推出了基于 CV72 芯片的多模态大模型推理解决方案——Cooper Mini。这一解决方案是为边缘计算环境量身定制的，特别适用于需要在设备上直接进行高级数据处理的应用。安霸在2024年CES期间推出了基于N1的多模态大模型解决方案 Cooper Max，通过单颗N1芯片支持高达340亿参数的多模态大模型推理。新推出的基于CV72 的Cooper Mini，则可实现低功耗系统单芯片高达30亿参数的多模态大模型推理。
还有AMD此前推出的第二代Versal自适应SoC，其中的Versal AI Edge系列特别针对AI驱动型嵌入式系统进行了设计。这款SOC每瓦TOPS（每秒万亿次操作/瓦特）最多提升3倍，标量算力最多提升10倍，使其能够更有效地支持大模型的部署和运行。
国内的云天励飞也有一款边缘计算芯片DeepEdge10，这是一款国产Chiplet大模型推理芯片，内置自研新一代神经网络处理器NNP400T，通过D2D高速互联Chiplet技术、C2CMesh互联架构实现算力扩展，能够支持千亿级参数大模型，落地于边缘设备和边缘服务器。
还有北京奕斯伟推出的一款边缘计算SoC芯片EIC7700X，采用64位RISC-V高性能处理器，并搭配自主研发的高效神经网络计算单元，支持全栈浮点计算，全面加速生成式大模型。它拥有丰富的外围扩展接口，并具备强大的音视频处理能力，在计算机视觉应用领域具有超高的适应能力。
写在最后
总之，边缘计算AI SOC在当前的计算领域具有显著的优势，包括效率高、功耗低、安全性高、实时分析、分布式处理等，凭借着诸多优势，边缘计算SOC已经在各个领域得到应用。同时，也有不少边缘SOC能够支持大模型的运行。不过边缘计算SOC也仍然尤其局限性，如定制化成本高、技术更新迅速、数据隐私和安全挑战等，需要持续去突破。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网
网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。
举报投诉
-
soc
+关注
关注
38文章
4161浏览量
218152 -
边缘计算
+关注
关注
22文章
3084浏览量
48885 -
大模型
+关注
关注
2文章
2423浏览量
2637
发布评论请先 登录
相关推荐
AI模型部署边缘设备的奇妙之旅：目标检测模型
以及边缘计算能力的增强，越来越多的目标检测应用开始直接在靠近数据源的边缘设备上运行。这不仅减少了数据传输延迟，保护了用户隐私，同时也减轻了云端服务器的压力。然而，在
发表于 12-19 14:33
AI模型部署边缘设备的奇妙之旅：如何在边缘端部署OpenCV
图像的质量，使得图像更适合人类观察或者为后续的分析做准备。
方法：通常涉及像素级别的操作，比如调整亮度、对比度、颜色校正、滤波（如高斯模糊、中值滤波去噪）、边缘检测、形态学变换（膨胀、腐蚀）等。
计算机视觉
发表于 12-14 09:31
AI模型部署边缘设备的奇妙之旅：如何实现手写数字识别
处理，而不必传输到外部服务器，这有助于更好地保护用户隐私和数据安全。
然而，边缘计算也带来了独特的挑战，特别是在资源受限的嵌入式系统中部署复杂的AI模型时。为了确保神经网络
发表于 12-06 17:20
Orin芯片与边缘计算结合
Orin芯片，作为英伟达推出的一款高性能AI处理器，与边缘计算的结合，无疑将为智能计算领域带来革命性的变化。 一、Orin芯片的创新特点 O
快速部署Tensorflow和TFLITE模型在Jacinto7 Soc
德赢Vwin官网
网站提供《快速部署Tensorflow和TFLITE模型在Jacinto7 Soc.pdf》资料免费下载
发表于 09-27 11:41
•0次下载
利用恩智浦云实验室部署AI模型
如今，人工智能（AI）非常火爆，这个风口该如何把握？作为一个电子工程师，和AI最主要的交集应该就是边缘计算了，具体来讲，就是在一些性能、功耗以及价格相对较低的嵌入式平台上部署和运行AI
大模型端侧部署加速，都有哪些芯片可支持？
德赢Vwin官网
网报道（文/李弯弯）大模型在端侧部署是指将大型神经网络模型部署在移动终端设备上，使这些设备能够直接运行这些
部署在边缘设备上的轻量级模型
德赢Vwin官网
网报道（文/李弯弯）边缘AI算法是一种将人工智能（AI）算法和计算能力放置在接近数据源的终端设备中的策略。这种算法通常被部署在边缘设备上，如传感器、智能手机、摄像头等，以便在
使用CUBEAI部署tflite模型到STM32F0中，模型创建失败怎么解决？
看到CUBE_AI已经支持到STM32F0系列芯片，就想拿来入门嵌入式AI。
生成的模型很小，是可以部署到F0上的，但是一直无法创建成功。
查阅CUBE AI文档说在调用create
发表于 03-15 08:10
AI边缘计算机应用场景广泛！大语言模型与数字人结合方案在边缘侧落地
德赢Vwin官网
网报道（文/李弯弯）AI边缘计算机是一种人工智能和边缘计算技术相结合的计算机设备。它可以在本地设备上
边缘侧部署大模型优势多！模型量化解决边缘设备资源限制问题
德赢Vwin官网
网报道（文/李弯弯）大模型的边缘部署是将大模型部署在边缘设备上，以实现更快速、更低延迟
工商网监
评论