在各种检测器的所有模块实现无监督预训练-德赢Vwin官网网

1. 背景介绍

近年来，大规模预训练后微调优化方法在计算机视觉中取得了重大进展。一系列预训练算法被设计出来，以学习特定领域的或任务感知的概念，以提升下游性能。就目标检测而言，当前方法通常利用ImageNet来预训练骨干网络，采用面向分类的监督。然而，与面向检测的微调过程相比，这种预训练方法存在三个差异，如图1所示。

数据:大多数预训练方法是在单个以物体为中心的数据集上进行的，如ImageNet。但是，检测数据集，例如COCO，通常由不同尺度和位置的多个物体组成。数据特征和领域上的差异可能导致预训练偏离下游任务。

模型:由于检测器的多样性和复杂性，当前预训练算法主要关注模型内的部分模块(例如骨干网络)。检测器中的某些关键组件(例如RPN和回归头)仍然是随机初始化的。

任务:现有预训练方法仅将分类任务视为替代任务，未能捕获包括建议生成、目标分配和框回归在内的与物体相关的位置上下文。

这些差异可能导致受限的结果、较差的泛化能力和较慢的收敛速度。

2. 相关知识补充

目标检测。 当前的目标检测算法可以根据不同的预测流程分为基于锚点、基于点和基于查询的方法。基于锚点的方法在每个像素上生成多个具有预定义大小和尺度的锚点。它们通常通过交并比将训练样本划分为正样本和负样本。基于点的方法旨在找到与每个对象相对应的参考点，这可以是每个实例的中心点，预定义或自学习的关键点。与基于锚点和基于点的方法中使用预定义的先验知识不同，基于查询的方法通过一组可学习的查询来表示不同的对象。

自监督预训练。 自监督学习充分利用了大量无标注数据来学习结构化的数据特征，预训练的权重被转移到下游任务中以确保良好的初始化。已经为无监督预训练提出了许多替代任务，例如特征聚类，着色，上下文预测，旋转预测和图像填充。一方面，对比学习通过最大化来自同一实例的不同视图的相似度来捕获良好的表征，在多个下游任务中取得了有竞争力的性能。另一方面，Mask Image Modeling (MIM)最近在自监督学习中引起了越来越多的关注。MIM不需要特定的数据增强，并且对下游任务具有更强大的泛化能力。

目标检测的自监督预训练。 尽管无监督预训练在目标检测中显示出了有竞争力的结果，但直接将图像级预训练知识转移到密集级下游任务存在一系列不一致之处。为减小预训练和微调之间的差距，一些方法通过探索不同视图之间的局部特征相似性来提出密集级对比学习。一些研究人员发现仅预训练骨干网络是不够的，他们尝试预训练其他常见模块，如FPN 。然而，这些方法需要从头开始进行大量的预训练，检测器中的其他关键模块(如RetinaNet 中的回归头)仍然是随机初始化的。另一方面，UP-DETR和DETReg 通过引入区域匹配和特征重构替代任务来预训练整个DETR样式检测器。尽管这些方法可以对整个模型进行充分的预训练，但DETR定向的替代任务无法直接应用于其他检测方法。相比之下，AlignDet实现了各种检测器的高效充分的自监督预训练。

3. 方法详解

最近的工作通过构建无监督预训练替代任务来扩展“预训练和微调”方法，与仅使用监督预训练的方法相比，这些方法取得了更高的性能。然而，与检测过程相比，当前预训练方法在数据、模型和任务上存在不一致之处，如图1所示。尽管可以通过大规模标注数据集的训练来缓解这些不一致，但它需要巨大的计算资源和手工标注成本。这些问题和局限激发我们提出AlignDet，一个通用的自监督框架，用于减小预训练和微调阶段中的差异。

图2 AlignDet的预训练流程图。监督和自监督预训练都可以用于图像域阶段，以捕捉整体视觉概念。对于框域预训练，首先采用选择性搜索生成无监督建议作为伪标签，然后对每个建议进行扩充，构建两个具有不同尺度和变换的视图。每个预测框用于构建对比学习和协调相关损失，以适应检测任务。

整个预训练流程如图2所示。在以下小节中，我们分别在第3.1节和第3.2节中介绍图像域预训练和框域预训练。我们提供了伪代码，以便更直观地理解AlignDet流程，以及与其他方法在技术细节上的比较见补充材料。

3.1 图像域预训练

图像域预训练优化骨干网络，为后续的框域预训练提取高层语义特征，如图2左侧的步骤1所示。一方面，给定图像x，骨干网络可以在完全监督的设置下与分类器和分类类别进行预训练。另一方面，最近出现的无监督学习算法有助于通过大量无标注数据捕获更普适的表征。以SimSiam 为例，从输入图像中构造两个视图和，并采用不同的数据增强。骨干网络可以通过最大化不同视图的相似性来学习普适的表征，并且利用预测器和停止梯度用来防止模式崩溃。

图像域预训练通常在大规模的图像分类数据集(如ImageNet)上进行，其中每个样本主要包含一个或少数几个主要物体位于图像中心。这里存在一个差距，因为在预训练过程无法访问包含不同尺度和位置的多个物体目标数据集。此外，检测头仍然是随机初始化的，回归工作在此图像域预训练中也未明确学习到。为此，我们设计框域预训练以减小这些差异。

3.2 框域预训练

4. 结论

本文中，我们指出预训练和微调阶段在目标检测中存在数据、模型和任务的差异，并提出了AlignDet来解决这些问题。AlignDet学习分类和回归知识，实现高效针对所有模块的预训练。值得注意的是，AlignDet是第一个实现各种检测器完全无监督预训练的框架。我们广泛的实验表明，AlignDet可以在各种设置下显著提升检测性能，包括不同的检测器、骨干网络、数据设置和微调计划。我们相信我们的工作为目标检测中的预训练问题提供了有价值的洞见，并开辟了新的研究方向。

审核编辑：刘清

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

检测器

检测器

+关注

关注
1

文章
863

浏览量
47676
MIM

MIM

+关注

关注
0

文章
13

浏览量
9411
图像变换

图像变换

+关注

关注
0

文章
5

浏览量
1518

原文标题：ICCV2023-AlignDet：在各种检测器的所有模块实现无监督预训练

文章出处：【微信号：GiantPandaCV，微信公众号：GiantPandaCV】欢迎添加关注！文章转载请注明出处。

高效液相色谱仪的检测器有哪些

高效液相色谱仪（HPLC）是一种广泛应用于化学分析、生物医药、环境监测等领域的分离和检测技术。HPLC的检测器是整个系统的关键部分，它能够将色谱柱分离出的组分转化为可测量的信号，从而实现对样品的定量

发表于 08-08 10:43 •1129次阅读

荧光检测器用来检测什么物质

光能后，部分能量以光的形式重新释放出来，这种光称为荧光。荧光检测器通过测量荧光的强度、波长等参数，实现对物质的定性和定量分析。荧光检测器的工作原理主要包括以下几个步骤：激发：荧光检测器

发表于 08-08 10:34 •799次阅读

电路检测器和电流检测器的区别

1. 引言电路检测器和电流检测器是电子工程中常用的工具，它们帮助工程师和技术人员诊断和监测电子设备的性能。 2. 电路检测器 定义和功能：电路检测器是一种用于

发表于 07-19 16:34 •827次阅读

预训练和迁移学习的区别和联系

预训练和迁移学习是深度学习和机器学习领域中的两个重要概念，它们在提高模型性能、减少训练时间和降低对数据量的需求方面发挥着关键作用。本文将从定义、原理、应用、区别和联系等方面详细探讨

发表于 07-11 10:12 •1005次阅读

大语言模型的预训练

能力，逐渐成为NLP领域的研究热点。大语言模型的预训练是这一技术发展的关键步骤，它通过在海量无标签数据上进行训练，使模型学习到语言的通用知识

发表于 07-11 10:11 •417次阅读

神经网络如何用无监督算法训练

神经网络作为深度学习的重要组成部分，其训练方式多样，其中无监督学习是一种重要的训练策略。无监督学

发表于 07-09 18:06 •775次阅读

深度学习中的无监督学习方法综述

应用中往往难以实现。因此，无监督学习在深度学习中扮演着越来越重要的角色。本文旨在综述深度学习中的无监督

发表于 07-09 10:50 •670次阅读

预训练模型的基本原理和应用

预训练模型（Pre-trained Model）是深度学习和机器学习领域中的一个重要概念，尤其是在自然语言处理（NLP）和计算机视觉（CV）等领域中得到了广泛应用。预

发表于 07-03 18:20 •2759次阅读

微波检测器的原理是什么微波检测器的工作原理和用途

的传播规律。微波是一种频率在300MHz至300GHz之间的电磁波，具有波长较短、穿透力强、抗干扰能力好等特点。微波检测器利用这些特性，通过接收和处理微波信号，实现对目标物体的检测和识

发表于 05-27 16:09 •1680次阅读

微波检测器的工作原理微波检测器的性能参数

基于电磁波的传播特性。微波是一种频率在300 MHz至300 GHz之间的电磁波，具有波长较短、穿透力强、抗干扰能力好等特点。微波检测器通过发射和接收微波信号，对目标物体进行探测和识别。发射微波信号微波检测器首先通过天线发射

发表于 05-27 15:45 •898次阅读

微波检测器优缺点微波检测器的功能和作用

微波检测器是一种利用微波技术对物体进行检测的设备。它广泛应用于军事、工业、医疗、交通等领域。本文将详细介绍微波检测器的优缺点、功能和作用。一、微波检测器的优点高频特性：微波

发表于 05-27 15:42 •1562次阅读

【大语言模型：原理与工程实践】大语言模型的预训练

函数，位置编码以及其他关键模块。这些模块和设计选型都是大语言模型在处理各种自然语言处理任务时的基础，影响模型的学习能力，泛化性和运行效率。大语言模型通过最常用的

发表于 05-07 17:10

过零检测器的原理和作用

过零检测器（Zero Crossing Detector，ZCD）是一种用于检测信号波形过零点的电子设备。在许多应用中，如同步、相位锁定环路（PLL）和频率检测等，过零

发表于 02-01 14:12 •2295次阅读

检测器电路图分享

检测器是指能检测色谱柱流出组分及其量的变化的器件。检测器通常分为积分型和微分型两类。对检测器的要求是：灵敏度高，线性范围宽，重现性好，稳定性好，响应速度快，对不同物质的响应有规律性及可

发表于 01-10 15:47 •5764次阅读

全面梳理电压检测器的定义、使用技巧和工作原理知识点

电压检测器是用于监控电源线的电压，当低于或高于设定电压时输出检测信号的IC。还可把电压检测器称为VD（Voltage Detector）、复位IC、监督

发表于 01-02 15:09 •4289次阅读

搜索历史

在各种检测器的所有模块实现无监督预训练

评论

高效液相色谱仪的检测器有哪些

荧光检测器用来检测什么物质

电路检测器和电流检测器的区别

预训练和迁移学习的区别和联系

大语言模型的预训练

神经网络如何用无监督算法训练

深度学习中的无监督学习方法综述

预训练模型的基本原理和应用

微波检测器的原理是什么微波检测器的工作原理和用途

微波检测器的工作原理微波检测器的性能参数

微波检测器优缺点微波检测器的功能和作用

【大语言模型：原理与工程实践】大语言模型的预训练

过零检测器的原理和作用

检测器电路图分享

全面梳理电压检测器的定义、使用技巧和工作原理知识点