YOLOv6中的用Channel-wise Distillation进行的量化感知训练

1、YOLOv6中的用Channel-wise Distillation进行的量化感知训练来自哪里

　　知识蒸馏 （KD）已被证明是一种用于训练紧凑密集预测模型的简单有效的工具。轻量级学生网络通过从大型教师网络转移的额外监督进行训练。大多数先前用于密集预测任务的 KD变体在空间域中对齐来自学生和教师网络的激活图，通常通过标准化每个空间位置上的激活值并最小化逐点和/或成对差异。

　　与之前的方法不同，这里建议对每个通道的激活图进行归一化以获得Soft概率图。通过简单地最小化两个网络的通道概率图之间的Kullback-Leibler （KL） 散度，蒸馏过程更加关注每个通道的最显著区域，这对于密集预测任务很有价值。

　　作者对一些密集的预测任务进行了实验，包括语义分割和目标检测。实验表明提出的方法大大优于最先进的蒸馏方法，并且在训练期间需要更少的计算成本。特别是，在COCO 数据集上的 mAP 中将 RetinaNet 检测器（ResNet50 主干）提高了 3.4%，在 Cityscapes 数据集上的 mIoU 中将PSPNet（ResNet18 主干）提高了 5.81%。

原作者：ChaucerG