电子发烧友网报道(文/周凯扬)作为用户,我们已经见证了人工智能从产品向功能的演化,而这股趋势正在蔓延至边缘端。然而边缘端由于功耗、算力要求严格,部分现有的方案效果不佳,边缘AI常常被冠以“伪需求”的污名,但对于无论是AI芯片厂商、IP供应商还是软件方案商,都在竭力证明自己的潜力。
换着法子追求低功耗
在不少人看来,AI芯片分为云端和边缘端,云端AI芯片面向服务器和HPC,自然要求做到高性能,但与此同时功耗自然不低,且往往将推理和训练分隔开。而边缘芯片的要求则恰恰与其相反,追求的首先就是低功耗。
旭日3/ 地平线
在当前的趋势下,由于边缘端设备涉及的范围太大,小到一个智能水表,大到自动驾驶汽车,所以对在对于算力和功耗的要求上各有不同,所以即便同属边缘AI芯片,也不好直接对比。比如有的是独立的AI芯片,有的是起到辅助作用的协处理器。以地平线的旭日3系列就是针对智能前视和边缘计算市场的边缘AI芯片,其中X3M可以提供5TOPS的AI等效算力,X3E可以提供3TOPS的AI等效算力,在台积电16nm的制程和地平线的芯片设计下,该系列的功耗已经做到2.5W。但即便是这样的低功耗,也不能说覆盖所有的边缘AI场景。
AML100 / Aspinity
今年年初,AI初创公司Aspinity发布了AML100 AnalogML芯片,一个主打vwin
机器学习的低功耗边缘AI芯片,最高支持4个模拟传感器。该芯片面向那些需要实时唤醒的边缘AI应用,比如智能家居中的安全监控、可穿戴设备上的智能语音控制、以及预防性和预测性维修中的异常检测等。这些应用都有着一个共通的特质,那就是离不开传感器。传统的实时唤醒结构将传感器的模拟信号传递给ADC,转换成数字信号后再发往数字处理器,如今这类方案已经可以实现极低的功耗。
传统架构与AML100架构的对比 / Aspinity
但在Aspinity看来,这种结构需要模拟和数字系统均保持实时在线,ADC对传感器输出的数据“来者不拒”,因此数字处理器承担了对所有数字信号的处理工作,如此一来功耗基本都在3000-5000µA的水平。而AML100的可配置模拟核心支持直接对模拟数据进行特定的信号处理,比如频谱分析、神经网络特征提取等,最终输出真正有用的传感器数据,最后再传给数字处理器。如此一来数字处理器不需要时刻处于唤醒状态,只需要在检测到必要数据时唤醒即可,而AML100组成的模拟系统功耗可以做到100µA以下。据Aspinity的说法,AML100可见电池寿命延长20倍。
模型带来的困扰
光靠AI芯片自然是不足以支撑起整个边缘AI的发展,大家也都知道模型是AI中不可或缺的一环。然而边缘侧的定义已经注定了跑不起那些大规模的AI模型,所以只能跑那些规模较小,并随算力扩展的机器学习模型,比如TinyML等,所以边缘端的软件栈同样挑战不小。此外,为不同的硬件调整AI模型也是边缘端部署AI的一大痛点。如此一来,虽然不少边缘AI芯片已经做到了足够的优异的性能,在软件生态尚未成熟之下,应用场景依然少之又少。因此,边缘AI的优化往往以缩小开销优化模型为主,使其适应边缘端这一应用场景,在低功耗也能实现绝对的优势。
最近又一家美国AI初创公司浮出水面,并获得了来自高通创投和FoothillVenture等公司的1000万美元种子轮融资。其初创团队包括深鉴科技(被赛灵思收购)联合创始人兼Deep Compression技术开发者韩松、前FacebookAI的技术主管Di Wu等。从几位创始人的履历来看,都在AI和深度学习上有着丰富的经验,而且都是清华电子工程出身的,考虑到FoothillVenture也就是改名前的清源创投,倒是不稀奇了。
OmniML的创始人 / OmniML
团队上就不过多展开讲了,毕竟阵容再豪华的初创公司也得拿实力说话,OmniML的王牌又是什么呢?单看几位创始人过去的成果,确实很擅长减少模型的压缩优化,尤其是他们也活跃于TinyML的开发社区。在OmniML官网的描述中指出,OmniML提供的软件方案可优化AI/ML模型,将它们轻易部署在边缘设备中,又不会损失性能和精度,与此同时,OmniML提供一种硬件感知的神经架构搜索,只需训练模型一次,就可以部署在任何硬件中,无论是GPU、AI芯片还是低功耗的MCU,即便是老的硬件设备也能在OmniML的助力下获得强大的AI/ML能力。
根据高通的说法,OmniML的神经架构搜索并不是单纯的压缩模型来做到优化,而是从一开始就创建一个高效的新模型,对于边缘硬件的客户来说,不仅可以降低时间和资金成本,还能有效提升精度。OmniML声称他们这种神经架构搜索已经用于亚马逊的AutoML和Meta的PyTorch深度学习框架中。
考虑到开发团队有着深厚的机器视觉背景,OmniML也首先面向自动驾驶和智能摄像头,他们展示了6车载摄像头传感器融合的3D检测方案、以及基于CortexM7 MCU的人体检测和人脸/口罩检测。
边缘AI的需求不算小众
在呈现的无尽潜力面前,边缘AI还是常常被人“边缘化”,但如果我们直接看应用市场的话,就会发现边缘AI的需求巨大。无论是TWS耳机的主动降噪,服务机器人的语音识别还是汽车的自动驾驶,边缘AI的发展必将为这些场景带来更大的功耗优势,节省成本的同时加快落地速度。
-
AI
+关注
关注
87文章
30728浏览量
268875 -
人工智能
+关注
关注
1791文章
47183浏览量
238213 -
AI芯片
+关注
关注
17文章
1879浏览量
34989
发布评论请先 登录
相关推荐
评论