Plumerai利用Arm Helium矢量扩展技术加速人员检测神经网络-德赢Vwin官网网

概述

目前，视觉应用在物联网发展领域备受关注。不论是可视门铃、会议室监控、家庭安全摄像头或者是智能零售应用，诸多创新型公司纷纷借助人工智能 (AI) 和机器学习 (ML) 技术，大力开发经济高效的成像解决方案。对于这一领域的开发者来说，提高准确性和效率变得越来越重要。

简介

Plumerai 总部位于伦敦，专注于在小型嵌入式设备上高效地执行复杂的 AI 辅助计算机视觉任务，诸如人员检测，包括可识别熟悉的面孔、车辆和宠物。Plumerai 工程师开发了一个实时人员检测应用程序，并将其移植到了基于 Arm Cortex-M85 的瑞萨 RA8D1 微控制器 (MCU) 上运行，从而利用 Arm Helium 矢量扩展技术，加速神经网络，通过少量的系统资源便可实现每秒 13 帧的高性能。

挑战

在资源受限的嵌入式设备上运行基于神经网络的计算机视觉任务（例如人员检测）颇具挑战性。此类应用程序需具备高计算性能和低内存占用。

传统上，微控制器不支持 SIMD (单指令多数据) 指令，无法实现并行处理和性能的提升。引入 Helium 矢量扩展（也称为 Cortex-M 矢量扩展技术，MVE）可以有效弥补这一欠缺。

将所有数据都保留在设备端，而不依赖于云连接，以保障用户隐私性并增强解决方案的安全性。

解决方案

Plumerai 利用 Cortex-M85 上的 Helium 矢量扩展来加速其人员检测神经网络。

Plumerai 构建紧凑型神经网络的方法涉及到垂直整合，需同时考虑所有 AI 层。换句话说，他们并不是将数据、模型、训练、推理和硬件分开来处理。这种整体方法对于能效而言至关重要。

Plumerai 的方法不仅关注模型架构，这只是整个处理过程的一部分，在此基础上，还要考虑如何将组件与数据紧密地联系在一起。数据对于小型神经网络来说至关重要，因此收集、整理和正确标记训练数据非常关键。

鉴于 Arm 技术在市场的应用普及性和丰富广泛的生态系统，Plumerai 选用了 Arm 架构。通过在 Cortex-M MCU 上运行软件，Plumerai 实现了稳定的图像捕捉性能，每秒可捕捉 2-5 帧。当采用 Cortex-M85 Helium 扩展的高性能 RA8x1 MCU 面向市场时，他们表现出了浓厚的兴趣。

Helium 是 Cortex-M 系列处理器的矢量扩展，可以为执行 AI 和 ML 工作负载的小型节能设备提供增强性能。Helium 包含硬件和软件优化，有助于在 Cortex-M 处理器上更快地执行神经网络模型，使其适用于各种应用，包括智能传感器、物联网设备、可穿戴设备等

他们借助 Helium 更宽的矢量寄存器和增强型点积 EDP 等新的 SIMD 指令，加速卷积和矩阵乘法等关键神经网络层。

Plumerai 的优化推理引擎在性能最大化方面也发挥了关键作用。经测量，它比在采用 Helium 技术的微控制器上运行 TensorFlow Lite 推理模型的速度快 3.5 倍。得益于 Helium 的加速能力，Plumerai 将人员检测的工作速度提高了 4 倍；在运行速度仅为 480 Mhz 基于 Cortex-M85 的 RA8D1 MCU 上，其性能提升到了 13 帧率 (FPS)。

这不仅提高了成像速度，还提升了准确率，进而为人员统计等新应用带来了全新可能。此外，它还可降低整体系统功耗：更高的帧速率意味着更快地捕捉和分析帧数。因此，如果帧中没有检测到人员，系统便可以更快地进入休眠状态。

Plumerai 能够在配备基于 Cortex-M85 的 RA8D1 MCU 的瑞萨评估板上实现这一点，且仅需占用 300 KB RAM (随机存取存储器)。对于较为复杂的 AI 视觉任务，整个可执行二进制文件的大小仅为 1.5 MB。RA8D1 MCU 具备 2MB 闪存、1MB 片上 SRAM 存储器以及 16 位摄像头接口，无需任何外部存储器或其他组件即可打造高质量的人员检测全面解决方案，并且能够应对遮挡、不同姿势和照明不佳等棘手情况。除此之外，Plumerai 还能够实现公司的一大关键用户目标，即提供隐私友好的解决方案，可以完全在设备端运行，无需云端处理。因此不会在云端存储或传输任何图像。

此外，公司还构建了自己的优化推理引擎和框架，并被 ML Commons 联盟评为全球最快的推理引擎及框架。

结论

Helium 矢量扩展助力 Plumerai 在资源受限的嵌入式设备上打造高性能计算机视觉应用。相关实现方案既展示了 Helium 的出色能力，也为其他从事嵌入式 AI 工作负载的开发者提供了参考模型。

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

微控制器

微控制器

+关注

关注
48

文章
7542

浏览量
151306
ARM

ARM

+关注

关注
134

文章
9084

浏览量
367371
物联网

物联网

+关注

关注
2909

文章
44557

浏览量
372743
嵌入式设备

嵌入式设备

+关注

关注
0

文章
110

浏览量
16955

原文标题：案例分享 | Plumerai 借助 Arm Helium 矢量扩展在嵌入式设备上实现人员检测

文章出处：【微信号：Arm社区，微信公众号：Arm社区】欢迎添加关注！文章转载请注明出处。

求利用LABVIEW 实现bp神经网络的程序

谁有利用LABVIEW 实现bp神经网络的程序啊（我用的版本是8.6的）

发表于 11-26 14:54

神经网络解决方案让自动驾驶成为现实

学习技术无疑为其指明了道路。以知名品牌为首的汽车制造业正在深度学习神经网络技术上进行投资，并向先进的计算企业、硅谷等技术引擎及学术界看齐。在中国，百度一直在此技术上保持领先。百度计划在

发表于 12-21 17:11

【PYNQ-Z2申请】基于PYNQ的卷积神经网络加速

项目名称：基于PYNQ的卷积神经网络加速试用计划：申请理由：本人研究生在读，想要利用PYNQ深入探索卷积神经网络的硬件加速，在PYNQ上实现

发表于 12-19 11:37

如何设计BP神经网络图像压缩算法？

神经网络的并行特点，而且它还可以根据设计要求配置硬件结构，例如根据实际需要，可灵活设计数据的位宽等。随着数字集成电路技术的飞速发展，FPGA芯片的处理能力得到了极大的提升，已经完全可以承担神经网络数据压缩

发表于 08-08 06:11

怎么设计ARM与神经网络处理器的通信方案？

人工神经网络在很多领域得到了很好的应用，尤其是具有分布存储、并行处理、自学习、自组织以及非线性映射等特点的网络应用更加广泛。嵌入式便携设备也越来越多地得到应用，多数是基于ARM内核及现场可编程门阵列

发表于 09-20 06:15

如何构建神经网络？

原文链接：http://tecdat.cn/?p=5725 神经网络是一种基于现有数据创建预测的计算系统。如何构建神经网络？神经网络包括：输入层：根据现有数据获取输入的层隐藏层：使用反向传播优化输入变量权重的层，以提高模型的预测

发表于 07-12 08:02

基于BP神经网络的PID控制

最近在学习电机的智能控制，上周学习了基于单神经元的PID控制，这周研究基于BP神经网络的PID控制。神经网络具有任意非线性表达能力，可以通过对系统性能的学习来实现具有最佳组合的PID控制。利用

发表于 09-07 07:43

基于深度神经网络的激光雷达物体识别系统

的激光雷达物体识别技术一直难以在嵌入式平台上实时运行。经纬恒润经过潜心研发，攻克了深度神经网络在嵌入式平台部署所面临的算子定制与加速、量化策略、模型压缩等难题，率先实现了高性能激光检测

发表于 12-21 07:59

隐藏技术: 一种基于前沿神经网络理论的新型人工智能处理器

隐藏技术: 一种基于前沿神经网络理论的新型人工智能处理器 Copy东京理工大学的研究人员开发了一种名为“ Hiddenite”的新型加速器芯片，该芯片可以在计算稀疏“隐藏

发表于 03-17 19:15

请问一下fpga加速神经网络为什么要用arm核呢

请问一下fpga加速神经网络为什么要用arm核呢？用其他的不行吗

发表于 07-25 14:37

卷积神经网络模型发展及应用

神经网络已经广泛应用于图像分类、目标检测、语义分割以及自然语言处理等领域。首先分析了典型卷积神经网络模型为提高其性能增加网络深度以及宽度的模型结构，分析了采用注意力机制进一步提升模型性

发表于 08-02 10:39

ARM Cortex-M系列芯片神经网络推理库CMSIS-NN详解

1、ARM Cortex-M系列芯片神经网络推理库CMSIS-NN详解CMSIS-NN是用于ARM Cortex-M系列的芯片的神经网络推理库，用于低性能芯片/架构的

发表于 08-19 16:06

Arm Helium技术手册

本指南介绍了Arm Helium技术，这是m -剖面矢量扩展(MVE)Arm Cortex-M系

发表于 08-02 08:27

什么是Arm Helium矢量处理技术?

Arm 为 Arm Cortex-M 处理器带来增强机器学习 (ML) 和数字信号处理 (DSP) 能力的技术 —— Arm  Helium

发表于 09-26 14:28 •1733次阅读

Arm Helium技术诞生的由来为何不直接采用Neon？

经过 Arm 研究团队多年的不懈努力，Arm 于 2019 年推出了适用于 Armv8‑M 架构的 Arm Cortex-M 矢量扩展

发表于 02-29 17:01 •2178次阅读

搜索历史

Plumerai利用Arm Helium矢量扩展技术加速人员检测神经网络

评论

求利用LABVIEW 实现bp神经网络的程序

神经网络解决方案让自动驾驶成为现实

【PYNQ-Z2申请】基于PYNQ的卷积神经网络加速

如何设计BP神经网络图像压缩算法？

怎么设计ARM与神经网络处理器的通信方案？

如何构建神经网络？

基于BP神经网络的PID控制

基于深度神经网络的激光雷达物体识别系统

隐藏技术: 一种基于前沿神经网络理论的新型人工智能处理器

请问一下fpga加速神经网络为什么要用arm核呢

卷积神经网络模型发展及应用

ARM Cortex-M系列芯片神经网络推理库CMSIS-NN详解

Arm Helium技术手册

什么是Arm Helium矢量处理技术?

Arm Helium技术诞生的由来为何不直接采用Neon？