超越YOLOv8！YOLO-NAS：下一代目标检测基础模型
1亮点在哪里？
- 引入QARepVGG同时利用重参数与8-bit量化的优势；
- 采用AutoNAC搜索最优尺寸、每个stage的结构，含模块类型、数量以及通道数；
- 采用混合量化机制进行模型量化，既考虑了每一层对精度与延迟的影响，也考虑了8-bit与16-bit之间切换对整体延迟的影响；
- 预训练方案：automatically labeled data, self-distillation, and large datasets
总而言之，YOLO-NAS达成目标检测任务新高度，取得了最佳的精度-延迟均衡。值得一提，YOLO-NAS与TensorRT推理引擎完全兼容，且支持INT8量化，达成前所未有的运行时性能。
| Model | mAP | Latency (ms) |
|---|---|---|
| YOLO-NAS S | 47.5 | 3.21 |
| YOLO-NAS M | 51.55 | 5.85 |
| YOLO-NAS L | 52.22 | 7.87 |
| YOLO-NAS S INT-8 | 47.03 | 2.36 |
| YOLO-NAS M INT-8 | 51.0 | 3.78 |
| YOLO-NAS L INT-8 | 52.1 | 4.78 |
2方案简介
受启发于YOLOv6、YOLOv7以及YOLOv8，DECI的研究人员采用AutoNAC搜索比YOLOv8更优的架构，即"We used machine learning to find a new deep learning architecture!"
为什么要用AutoNAC呢？这是因为手工寻找"正确"结构过于低效且乏味，因此DECI的研究人员采用AutoNAC搜索新的目标检测模型，同时最小化在NVIDIA T4上的推理延迟。
为构建YOLO-NAS，作者构建了一个深不可测的搜索空间(1014)以探索精度-延迟上限。最终，作者从中三样三个"前沿观察点"构建了YOLO-NAS-S，YOLO-NAS-M，YOLO-NAS-L。
3训练简介
YOLO-NAS采用了多阶段训练方式，包含(1)预训练：Object365+COCO伪标签数据；(2)知识蒸馏；(3) DFL，即Distribution Focal Loss
在训练数据方面，作者基于RoboFlow100(由100个不同领域的数据集构成)进行训练以验证其处理复杂检测任务的能力。
下图对比了YOLO-NAS与YOLOv8、YOLOv5、YOLOv7在Roboflow100数据集上的性能。
4量化感知
YOLO-NAS采用了量化感知模块与Selective量化以达成最优性能，即基于延迟-精度均衡考虑在特定层进行了"Skipping量化"。当转换为INT8量化模型后，YOLO-NAS具有更少的精度损失(L-M-S的损失分别为0.45,0.65,0.51mAP)。
YOLO-NAS架构和预训练权重定义了低延迟推理的新领域，也是微调下游任务的绝佳起点。
5上手体验
看完上面的介绍有没有“一头雾水”的感觉，哈哈，上手体验一把。
Step 1. 安装super-gradients
condacreate-nsgpython=3.7
condaactivatesg
pipinstallsuper-gradients
Step 2. 命令行测试
fromsuper_gradients.trainingimportmodels
fromsuper_gradients.common.object_namesimportModels
net=models.get(Models.YOLO_NAS_S,pretrained_weights='coco')
net.predict("bus.jpg").show()
不出意外的话，你就可以看到下面的输出结果了。
当然，如果出了意外，可以试试用ONNX推理，导出只需一行代码。
models.convert_to_onnx(model=net,input_shape=(3,640,640),out_path='yolo-nas-s.onnx')
相关推理code可参考"YOLOv8-TensorRT"中的推理微调一下即可。需要注意以下两点，通过官方工具导出的"bboxes"已经是"xyxy"格式了，所以不需要再执行make_grid, distance2bbox等操作了，直接进行"NMS"即可。但是，OpenCV的NMS要求输入的BBOXES格式为xywh，所以还需要再改一下，^^哈哈哈^^
最后，附上YOLO-NAS的网络结构示意图，这里仅给出了YOLO-NAS-S的示意图，另外两个跟这个整体类似，区别在于Block改为了YOLOv7的ELAN且通道数更多。
审核编辑 ：李倩
-
精度
+关注
关注
0文章
258浏览量
20015 -
目标检测
+关注
关注
0文章
209浏览量
15605
原文标题：超越YOLOv8！YOLO-NAS：下一代目标检测基础模型
文章出处：【微信号：CVer，微信公众号：CVer】欢迎添加关注！文章转载请注明出处。
发布评论请先 登录
相关推荐
【爱芯派 Pro 开发板试用体验】yolov8模型转换
YOLOv8 来啦！一文带你解读 YOLO＂内卷＂期的模型选型以及在 NGC 飞桨容器中快速体验！
在AI爱克斯开发板上用OpenVINO™加速YOLOv8分类模型
在AI爱克斯开发板上用OpenVINO™加速YOLOv8目标检测模型
YOLOv8版本升级支持小目标检测与高分辨率图像输入
AI爱克斯开发板上使用OpenVINO加速YOLOv8目标检测模型
在AI爱克斯开发板上用OpenVINO™加速YOLOv8-seg实例分割模型
教你如何用两行代码搞定YOLOv8各种模型推理
目标检测算法再升级！YOLOv8保姆级教程一键体验
在AI爱克斯开发板上用OpenVINO™加速YOLOv8-seg实例分割模型
三种主流模型部署框架YOLOv8推理演示
基于YOLOv8的自定义医学图像分割
工商网监
评论