Tengine，可能是最好用的Arm嵌入式系统AI框架了！-德赢Vwin官网网

边缘AI应用正处于大规模落地的前夕，巨大的IoT市场和革命性的AI技术产生的剧烈交互将带来前所未有的应用革命和商业机会。那么在边缘设备部署AI应用的瓶颈都有哪些？

有人有现成的芯片和应用场景，却为缺乏算法和平台苦恼。

有人有自己的算法，却为缺乏一个好用的嵌入式跨平台框架而苦恼。

有人有自己的算法和硬件平台，却为嵌入式平台有限算力苦恼。

OPEN AI LAB看到了业界痛点，顺应市场需求推出了专为嵌入式平台设计的AI推理框架——Tengine。

专门针对Arm嵌入式设备优化的神经网络推理引擎

OPEN AI LAB于2016年12月成立，由Arm中国联合产业伙伴发起，致力于推动芯片、硬件、算法、软件整个产业链的深度合作，加速人工智能产业化应用部署和应用场景边界拓展。Tengine便是一款轻量级模块化高性能的神经网络推理引擎，专门针对Arm嵌入式设备优化。完美支持Arm平台，支持Arm Cortex CPU，Arm Mali GPU，Arm DLA，第三方DSP，堪称兼容“全能王”。

而开发者可以使用Tengine一网打尽主流框架模型和嵌入式操作系统，还能异构调度平台里的各类硬件，充分利用硬件算力。此外，Tengine还提供了常见AI应用算法，包括图像检测，人脸识别，语音识别等。不懂AI没关系，上手就能跑AI应用。Tengine同时还支持各类常见卷积神经网络，包括SqueezeNet，MobileNet，AlexNet，ResNet等，支持层融合、8位量化等优化策略。并且通过调用针对不同CPU微构架优化的HCL库，将Arm CPU的性能充分挖掘出来。

Tengine的“发动机”——HCL计算库

有人说NCNN是一个为手机端极致优化的高性能神经网络前向计算框架，从设计之初深刻考虑手机端的部署和使用。在过去，NCNN确实是这样的，只是那时候还没有Tengine。

现在，HCL计算库作为Tengine的插件，是性能最快的Arm CPU NN计算库，并且支持动态8位量化计算，精度几乎不变，相比于NCNN最快能带来2-3倍的性能提升，内存使用减少为三分之一。

*Tengine性能数据A72，A53性能基于RK3399平台测试，A17性能基于RK3288平台测试

NCNN数据为2018年9月7日

HCL INT8量化计算精度变化

FP32INT8Diff

TOP1TOP5TOP1TOP5TOP1TOP5

MobileNetv167.86%87.60%66.40%86.44%-1.46%-1.16%

SqueezeNet57.86%79.86%57.80%79.92%-0.06%0.06%

GoogLeNet68.48%88.82%68.70%88.82%0.22%0.00%

ResNet5071.60%89.90%71.60%89.86%0.00%-0.04%

*采用ILSVRC2012_VAL数据集测试5000张图片得到量化精度测试结果如下

Tengine + HCL，不同人群的量身定制

Tengine作为AI 应用框架，不仅对上层应用提供推理API 接口，支持主流模型与格式，还在下层定义硬件接口，适配嵌入式平台各类计算模块，此外支持同时运行多个AI应用算法以及调用多个计算模块计算。因此，Tengine的面世对AI开源生态具有里程碑的意义。有了Tengine，应用和算法厂商可以摆脱复杂的嵌入式平台适配工作，配合HCL直接挖掘硬件的全部潜能；有了Tengine，芯片厂能够站在Arm 嵌入式AI生态的肩膀上，以最快的速度顺利将芯片推向市场，在边缘AI应用中部署。作为OPEN AI LAB为边缘AI应用部署开发的两大利器，Tengine + HCL将助力嵌入式人工智能产业加速向前推进，为最终实现万物智能贡献力量。

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

ARM

ARM

+关注

关注
134

文章
9084

浏览量
367371
嵌入式系统

嵌入式系统

+关注

关注
41

文章
3587

浏览量
129432
AI

AI

+关注

关注
87

文章
30728

浏览量
268871
Tengine

Tengine

+关注

关注
1

文章
47

浏览量
2845

嵌入式系统的未来趋势有哪些?

嵌入式系统是指将我们的操作系统和功能软件集成于计算机硬件系统之中，形成一个专用的计算机系统。那么嵌入式

发表于 09-12 15:42

ARM MCU嵌入式开发 | 基于国产GD32F10x芯片+嵌入的开始

指令完成复杂任务。现代处理器常采用混合指令集，结合CISC与RISC的优势，以优化性能和编程便利性。在嵌入式系统领域，ARM架构因其基于RISC的高效性和广泛应用而备受推崇。ARM提

发表于 09-09 14:48

开启全新AI时代智能嵌入式系统快速发展——“第六届国产嵌入式操作系统技术与产业发展论坛”圆满结束

嵌入式系统是电子信息产业的基础，是智能系统的核心。大模型催生AI走入千家万户、唤醒端侧AI的需求爆发。以机器人、无人驾驶和智能制造为代表的智

发表于 08-30 17:24

RT-Thread出席第六届中国嵌入式技术大会，共话嵌入式操作系统与智能工业

第六届中国嵌入式技术大会将于8月27-28日在深圳会展中心（福田）1号馆举行。本届大会以“AI与开源，开启嵌入式系统智能新时代”为主题，聚焦人工智能与

发表于 08-03 08:35 •393次阅读

嵌入式软件开发与AI整合

嵌入式软件开发与AI整合是当前技术发展的重要趋势之一。随着人工智能技术的快速发展，嵌入式系统越来越多地集成了AI算法，以实现更复杂的智能功能

发表于 07-31 09:25 •691次阅读

飞凌嵌入式Forlinx pinMux，更好用的MPU引脚复用配置工具

飞凌嵌入式打造了一款专门针对ARM嵌入式MPU引脚复用的软件工具——Forlinx pinMux

发表于 07-05 10:28 •1793次阅读

嵌入式系统怎么学?

、C++或者Python。这些语言在嵌入式系统开发中都被广泛应用。 3、微处理器/微控制器架构：学习常见的微处理器和微控制器架构，如ARM、AVR、PIC等，了解其特性和应用场景。 4、嵌

发表于 07-02 10:10

第六届中国嵌入式技术大会：AI与嵌入式应用、RISC-V生态、嵌入式操作系统与智能工业

汽车风起云涌，近年来中国在技术创新方面表现突出，为中国经济增长提供了强大动力。随着大模型和生成式AI的崛起，科技发展的下一个爆发点很可能是人工智能技术，它将为中国经

发表于 06-04 08:37 •632次阅读

AI与开源力推嵌入式系统创新升级

AMD在此次展会上宣布扩大AMD Versal™自适应片上系统（SoC）产品线，推出全新第二代Versal AI Edge和Versal Prime系列自适应SoC。该系列将预处理、AI推理和后处理集成于单一器件中，为

发表于 04-29 11:11 •503次阅读

深度详解嵌入式系统专用轻量级框架设计

MR 框架是专为嵌入式系统设计的轻量级框架。充分考虑了嵌入式系统在资源和性能方面的需求。通过提供

发表于 04-27 02:32 •983次阅读

嵌入式片上系统和ARM哪个更好

嵌入式片上系统和ARM各有其优势，难以直接比较哪个更好，因为它们在不同的应用场景和需求下都有各自的价值。

发表于 03-28 15:14 •512次阅读

嵌入式人工智能的就业方向有哪些?

网络编程开发及实战下数据库开发 Linux应用开发综合实战三：嵌入式Linux系统工程师，Linuxkernel工程师，嵌入式Linux驱动工程师 ARM体系结构与接口技术

发表于 02-26 10:17

嵌入式系统发展前景？

应用领域。随着汽车电子化和智能化程度的不断提高，嵌入式系统将在汽车控制、安全系统、自动驾驶等方面发挥更为重要的作用。工智能和机器学习技术的发展为嵌入式

发表于 02-22 14:09

智能集成：整合模拟元件和ARM微控制器内核，解决棘手嵌入式系统问题

智能集成：整合模拟元件和ARM微控制器内核，解决棘手嵌入式系统问题

发表于 01-05 18:18 •710次阅读

【2023电子工程师大会】ARM嵌入式AI边缘计算开发流程要点p

【2023电子工程师大会】ARM嵌入式AI边缘计算开发流程要点ppt

发表于 01-03 16:31 •27次下载