超星未来NE100开箱体验，15分钟部署目标检测模型-德赢Vwin官网网

「NE100」是超星未来基于自研计算芯片「惊蛰R1」和全流程开发工具链「鲁班」打造的智能计算平台开发套件，包括完备的推理环境。其中鲁班工具链以 docker 形式提供，完整包括剪枝、量化、编译工具以及相应实例。NE100 配套完整，开箱即用，无需繁琐的安装过程。

下面以目标检测模型 YOLOv5 为例，展示部署过程。

注：开发环境为Linux 系统的 PC 或服务器，神经网络需要导出为 ONNX 格式文件。

可通过标准命令加载工具链 docker 文件：

gunzip -c nova_development_kit.tar.gz | sudo docker load

参考用户手册中示例脚本启动容器，进入开发环境。

基于原始模型导出 ONNX 文件时，请确保网络已经处于推理模式，并且计算图的输入节点为首个 CONV 算子的输入(格式[1,C,H,W])，输出节点为最后一个（组）CONV 算子的输出，详细信息请参考用户手册。

#1模型量化与编译

1个API，5行代码，轻松完成

量化工具以 ONNX 文件和部分图片为输入，将神经网络从 FP32 量化为 INT8 精度，目前支持 PTQ 与 QAT 功能。仅需在代码中将量化和编译工具导入并通过 API 调用，即可对 ONNX 模型完成量化和编译，分别只需要1个 API 和5行代码。详细的 API 说明请参考用户手册。

1. 导入量化工具

from nquantizer import run_quantizer

2. 调用量化工具

quant_model = run_quantizer( 
    onnx_model,
    dataloader=val_loader,
    num_batches=200,
    output_dir=work_dir + "/quantizer_output",
    input_vars=input_vars,
)

3. 导入编译工具

from ncompiler import run_compiler

4. 调用编译工具

run_compiler(
    input_dir=work_dir + "/quantizer_output",
    output_dir=work_dir + "/compiler_output",
    enable_simulator=True,
    enable_profiler=True,
)

编译后 compiler_output 目录中的 npu.param（模型结构描述文件）和 npu.bin（模型权重文件）是 NE100 部署时所需要的文件。

#2模型部署

接口简洁，功能丰富，快速调用NPU

为了实现惊蛰R1 芯片多核 NPU 的简单高效推理与应用开发，超星未来基于 NCNN 推理框架增量开发运行时，并提供高性能加速库，满足异构推理的端到端优化需求。

运行时特别设计了 npumat, npunet 和 npuextractor 等组件，功能如下：

npumat：提供NPU使用的数据排布格式HWC，提高数据存储读取性能

npunet：提供模型不变信息的基础数据结构，支持核心绑定、优先级调度、数据导出、性能监测等功能

npuextractor：提供NPU推理所需的set_input, get_output, get_time、extract等基本功能

YOLOv5 推理中前后处理部分与主流平台上的代码一致，应用迁移时仅需更换 NPU 的推理代码，包括：

1. 初始化帧数据结构

2. 加载网络结构描述文件与网络权重文件，并且配置核心绑定、数据导出及性能监测等功能

3. 基于加载的模型文件和前处理后的帧数据进行推理，提取结果用于后处理

#3模型推理

架构高效，能耗出色，助力AI应用落地

推理代码经过编译后运行，即可得到如下推理结果：

得益于超星未来自研平湖架构的高效设计，YOLOv5 等主流网络的算力利用率均超过 70%，同时芯片整体功耗可控制在 8W 左右，有效支持各类边缘端 AI 应用部署。

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

神经网络

神经网络

+关注

关注
42

文章
4771

浏览量
100712
模型

模型

+关注

关注
1

文章
3226

浏览量
48807
目标检测

目标检测

+关注

关注
0

文章
209

浏览量
15605

原文标题：超星未来 NE100 开箱体验，15分钟部署目标检测模型

文章出处：【微信号：NOVAUTO，微信公众号：超星未来】欢迎添加关注！文章转载请注明出处。

AI模型部署边缘设备的奇妙之旅：目标检测模型

以及边缘计算能力的增强，越来越多的目标检测应用开始直接在靠近数据源的边缘设备上运行。这不仅减少了数据传输延迟，保护了用户隐私，同时也减轻了云端服务器的压力。然而，在边缘端部署高效且准确的目标

发表于 12-19 14:33

【小e物联网试用体验】+ 超清开箱体验

` 本帖最后由真喜洋洋于 2016-5-31 21:12 编辑【小e物联网试用体验】+ 超清开箱体验很早就收到了小e的开发板，但是早段时间生病，一直来不及开箱体验，今天偶感舒适，上些高清五码图。。`

发表于 05-17 10:30

【NanoPi NEO试用体验】开箱体验

`开箱体验这是一篇延时了很久的报告，为什么捏，因为我是新手～原来报告在手机上发不了`

发表于 10-31 02:10

【VEML6040环境颜色检测试用体验】一、开箱体验，惊喜有余

`【VEML6040环境颜色检测试用体验】一、开箱体验，惊喜有余正常收到VEML6040环境颜色检测开发板，立即开箱体验。预先看资料开发板应该不大，但大包装盒着实实在。拆开后可见企业对

发表于 03-27 15:11

15分钟充满快充移动电源---未来的潜力有多大？

`深圳市思齐新能源有限公司目前已经成功开发两款快充移动电源6000毫安时 10000毫安时充电15分钟充满使用循环寿命是普通锂电池5倍以上支持TYPC接口想了解未来市场潜力？谢谢`

发表于 06-16 12:16

目标检测模型和Objectness的基础知识

在本文中，我们将讨论目标检测模型和Objectness的基础知识。

发表于 02-04 07:05

在Arm虚拟硬件上部署PP-PicoDet模型

1、在Arm虚拟硬件上部署PP-PicoDet模型　　经典的深度学习工程是从确认任务目标开始的，我们首先来简单地介绍一下目标检测任务以及本期

发表于 09-16 14:42

在Arm虚拟硬件上部署PP-PicoDet模型的设计方案

1、在Arm虚拟硬件上部署PP-PicoDet模型　　经典的深度学习工程是从确认任务目标开始的，我们首先来简单地介绍一下目标检测任务以及本期

发表于 09-23 15:02

高通公布新型快速充电技术，15分钟内将4500mAh电池充满100%

高通公司昨天宣布了一种新的快速充电技术，称为快速充电5（QC 5）。高通公司声称，新标准将在5分钟内将4500mAh电池的电量从0%提升到50%，在15分钟内达到100%。

发表于 07-28 10:21 •1116次阅读

目标检测模型和Objectness的知识

在本文中，我们将讨论目标检测模型和Objectness的基础知识。

发表于 02-12 17:00 •1122次阅读

如何在移动设备上训练和部署自定义目标检测模型

上，目标检测模型的训练和部署的过程：设备端 ML 学习路径：关于如何在移动设备上，训练和部署自定义目标

发表于 08-16 17:09 •3580次阅读

YOLOX目标检测模型的推理部署

旷视科技开源了内部目标检测模型-YOLOX，性能与速度全面超越YOLOv5早期版本！

发表于 04-16 23:00 •2999次阅读

如何使用TensorRT框架部署ONNX模型

模型部署作为算法模型落地的最后一步，在人工智能产业化过程中是非常关键的步骤，而目标检测作为计算机视觉三大基础任务之一，众多的业务功能都要在

发表于 10-31 14:27 •3270次阅读

AI爱克斯开发板上使用OpenVINO加速YOLOv8目标检测模型

《在AI爱克斯开发板上用OpenVINO加速YOLOv8分类模型》介绍了在AI爱克斯开发板上使用OpenVINO 开发套件部署并测评YOLOv8的分类模型，本文将介绍在AI爱克斯开发板

发表于 05-26 11:03 •1239次阅读

本周九家企业获新融资，超星未来与纵慧芯光领先

目前，超星未来已打造出两款AI推理引擎“平湖”和“高峡”，并推出了边缘侧AI计算芯片“惊蛰R1”，智能计算开发套件“NE100”以及边缘计算模组“NM10”。

发表于 05-13 14:25 •556次阅读

搜索历史

超星未来NE100开箱体验，15分钟部署目标检测模型

评论

AI模型部署边缘设备的奇妙之旅：目标检测模型

【小e物联网试用体验】+ 超清开箱体验

【NanoPi NEO试用体验】开箱体验

【VEML6040环境颜色检测试用体验】一、开箱体验，惊喜有余

15分钟充满快充移动电源---未来的潜力有多大？

目标检测模型和Objectness的基础知识

在Arm虚拟硬件上部署PP-PicoDet模型

在Arm虚拟硬件上部署PP-PicoDet模型的设计方案

高通公布新型快速充电技术，15分钟内将4500mAh电池充满100%

目标检测模型和Objectness的知识

如何在移动设备上训练和部署自定义目标检测模型

YOLOX目标检测模型的推理部署

如何使用TensorRT框架部署ONNX模型

AI爱克斯开发板上使用OpenVINO加速YOLOv8目标检测模型

本周九家企业获新融资，超星未来与纵慧芯光领先