首发：AI公园公众号
作者：Andre Ye
编译：ronghuaiyang

导读

为什么半监督学习是机器学习的未来。

监督学习是人工智能领域的第一种学习类型。从它的概念开始，无数的算法，从简单的逻辑回归到大规模的神经网络，都已经被研究用来提高精确度和预测能力。
然而，一个重大突破揭示了添加“无监督数据”可以提高模型泛化和性能。事实上，在非常多的场景中，带有标签的数据并不容易获得。半监督学习可以在标准的任务中实现SOTA的效果，只需要一小部分的有标记数据 —— 数百个训练样本。
在这个我们对半监督学习的探索中，我们会有：

_半监督学习简介_。什么是半监督学习，它与其他学习方法相比如何，半监督学习算法的框架/思维过程是什么？
_算法：Semi-Supervised GANs_。与传统GANs的比较，过程的解释，半监督GANs的性能。
_用例和机器学习的未来_。为什么半监督学习会有如此大的需求，哪里可以应用。

半监督学习介绍

半监督学习算法代表了监督和非监督算法的中间地带。虽然没有正式定义为机器学习的“第四个”元素(监督、无监督、强化)，但它将前两个方面结合成一种自己的方法。
这些算法操作的数据有一些标签，但大部分是没有标签的。传统上，人们要么选择有监督学习的方式，只对带有标签的数据进行操作，这将极大地减小数据集的规模，要么，就会选择无监督学习的方式，丢弃标签保留数据集的其余部分，然后做比如聚类之类的工作。

这在现实世界中是很常见的。由于标注是很昂贵的，特别是大规模数据集，特别是企业用途的，可能只有几个标签。例如，考虑确定用户活动是否具有欺诈性。在100万用户中，该公司知道有1万用户是这样的，但其他9万用户可能是恶意的，也可能是良性的。半监督学习允许我们操作这些类型的数据集，而不必在选择监督学习或非监督学习时做出权衡。
一般来说，半监督学习算法在这个框架上运行：

半监督机器学习算法使用有限的标记样本数据集来训练自己，从而形成一个“部分训练”的模型。
部分训练的模型对未标记的数据进行标记。由于样本标记数据集有许多严重的限制(例如，在现实数据中的选择偏差)，标记的结果被认为是“伪标签”数据。
结合标记和伪标签数据集，创建一个独特的算法，结合描述和预测方面的监督和非监督学习。

半监督学习利用分类过程来识别数据资产，利用聚类过程将其分成不同的部分。

算法：Semi-Supervised GAN

半监督的GAN，简称为SGAN，是[生成对抗网络](https://medium.com/analy tics-... -an-直觉解释-革命概念-2f962c858b95)架构的一个变体，用于解决半监督学习问题。
在传统的GAN中，判别器被训练来预测由生成器模型生成的图像是真实的还是假的，允许它从图像中学习判别特征，即使没有标签。尽管大多数人通常在GANs中使用训练很好的生成器，可以生成和数据集中相似的图像，判别器还是可以通过以转移学习作为起点在相同的数据集上建立分类器，允许监督任务从无监督训练中受益。由于大部分的图像特征已经被学习，因此进行分类的训练时间和准确率会更好。
然而，在SGAN中，判别器同时接受两种模式的训练：无监督和监督。

在无监督模式中，需要区分真实图像和生成的图像，就像在传统的GAN中一样。
在监督模式中，需要将一幅图像分类为几个类，就像在标准的神经网络分类器中一样。

为了同时训练这两种模式，判别器必须输出1 + _n_个节点的值，其中1表示“真或假”节点，_n_是预测任务中的类数。
在半监督GAN中，对判别器模型进行更新，预测K+1个类，其中K为预测问题中的类数，并为一个新的“_假_”类添加额外的类标签。它涉及到同时训练无监督分类任务和有监督分类任务的判别器模型。整个数据集都可以通过SGAN进行传递 —— 当一个训练样本有标签时，判别器的权值将被调整，否则，分类任务将被忽略，判别器将调整权值以更好地区分真实的图像和生成的图像。

虽然允许SGAN进行无监督训练，允许模型从一个非常大的未标记数据集中学习非常有用的特征提取，但有监督学习允许模型利用提取的特征并将其用于分类任务。其结果是一个分类器可以在像MNIST这样的标准问题上取得令人难以置信的结果，即使是在非常非常少的标记样本(数十到数百个)上进行训练。
SGAN巧妙地结合了无监督和监督学习的方面，强强联合，以最小的标签量，产生难以置信的结果。

用例和机器学习的未来

在一个可用数据量呈指数级增长的时代，无监督数据根本不能停下来等待标注。无数真实世界的数据场景会像这样出现 —— 例如，YouTube视频或网站内容。从爬虫引擎和内容聚合系统到图像和语音识别，半监督学习被广泛应用。
半监督学习将监督学习和非监督学习的过拟合和“不拟合”倾向(分别)结合起来的能力，创建了一个模型，在给出最小数量的标记数据和大量的未标记数据的情况下，可以出色地执行分类任务。除了分类任务，半监督算法还有许多其他用途，如增强聚类和异常检测。尽管这一领域本身相对较新，但由于在当今的数字领域中发现了巨大的需求，算法一直在不断地被创造和完善。
半监督学习确实是机器学习的未来。

—END—

英文原文：https://toward sdatascience.co...

推荐阅读

多摄像头实时目标跟踪和计数，使用YOLOv4，Deep SORT和Flask
使用深度学习从视频中估计车辆的速度
图像分割2020总结：结构，损失函数，数据集和框架

关注图像处理，自然语言处理，机器学习等人工智能领域,请点击关注AI公园专栏。
欢迎关注微信公众号

审核编辑：符乾江

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

人工智能

人工智能

+关注

关注
1791

文章
47182

浏览量
238198
机器学习

机器学习

+关注

关注
66

文章
8406

浏览量
132553

时空引导下的时间序列自监督学习框架

【导读】最近，香港科技大学、上海AI Lab等多个组织联合发布了一篇时间序列无监督预训练的文章，相比原来的TS2Vec等时间序列表示学习工作，核心在于提出了将空间信息融入到预训练阶段，即在预训练阶段

发表于 11-15 11:41 •231次阅读

曙光公司成都云中心助力提升监督质效

数字化时代，用好大数据，推动数字技术深度融入纪检监察各项业务，是大势所趋。当前，各地正在探索推进大数据监督，借助海量数据、算力、算法，不断延伸监督的触角，拓展发现问题的渠道。以“算力”补“人力”，“人去看”加“云端算”，大数据在类案分析、预警纠治、溯源治理等方面，正发挥越

发表于 11-05 10:05 •216次阅读

【《大语言模型应用指南》阅读体验】+ 基础知识学习

收集海量的文本数据作为训练材料。这些数据集不仅包括语法结构的学习，还包括对语言的深层次理解，如文化背景、语境含义和情感色彩等。自监督学习：模型采用自监督学习策略，在大量无标签文本数据上学习

发表于 08-02 11:03

【《大语言模型应用指南》阅读体验】+ 基础篇

章节最后总结了机器学习的分类：有监督学习、无监督学习、半监督学习、自监督学习和强化

发表于 07-25 14:33

神经网络如何用无监督算法训练

神经网络作为深度学习的重要组成部分，其训练方式多样，其中无监督学习是一种重要的训练策略。无监督学习旨在从未标记的数据中发现数据内在的结构、模式或规律，从而提取有用的特征表示。这种训练方式对于大规模未

发表于 07-09 18:06 •774次阅读

深度学习中的无监督学习方法综述

应用中往往难以实现。因此，无监督学习在深度学习中扮演着越来越重要的角色。本文旨在综述深度学习中的无监督学习方法，包括自编码器、生成对抗网络、聚类算法等，并分析它们的原理、应用场景以及优

发表于 07-09 10:50 •670次阅读

前馈神经网络的基本结构和常见激活函数

和激活函数的非线性变换，能够学习和模拟复杂的函数映射，从而解决各种监督学习任务。本文将详细阐述前馈神经网络的基本结构，包括其组成层、权重和偏置、激活函数等，并介绍几种常见的激活函数及其特性。

发表于 07-09 10:31 •765次阅读

基于FPGA的类脑计算平台 —PYNQ 集群的无监督图像识别类脑计算系统

STDP 无监督学习算法，可运用于图像的无监督分类。从平台设计角度： (1)本设计搭建的基于 PYNQ 集群的通用低功耗的大规模类脑计算平台，搭载 PYNN，NEST 等通用 SNN

发表于 06-25 18:35

CVPR'24 Highlight！跟踪3D空间中的一切！

为了使用三维运动先验正则化估计的三维轨迹，模型另外预测了每条轨迹的刚性嵌入，这使能够软地分组表现出相同刚性体运动的像素，并为每个刚性集群强制执行ARAP正则化。作者证明了刚性嵌入可以通过自监督学习，并产生不同刚性部分的合理分割。

发表于 04-13 12:12 •1230次阅读

为什么深度学习的效果更好？

导读深度学习是机器学习的一个子集，已成为人工智能领域的一项变革性技术，在从计算机视觉、自然语言处理到自动驾驶汽车等广泛的应用中取得了显著的成功。深度学习的有效性并非偶然，而是植根于几个基本原则和进步

发表于 03-09 08:26 •616次阅读

机器学习基础知识全攻略

有监督学习通常是利用带有专家标注的标签的训练数据，学习一个从输入变量X到输入变量Y的函数映射。Y = f (X)，训练数据通常是(n×x,y)的形式，其中n代表训练样本的大小，x和y分别是变量X和Y的样本值。

发表于 02-25 13:53 •239次阅读

OpenAI推出Sora：AI领域的革命性突破

大模型的核心技术是自然语言处理（NLP）和深度学习。具体而言，它基于Transformer架构，使用了大规模无监督学习方法，例如自回归语言建模和掩码语言建模，来训练一个庞大的神经网络模型。

发表于 02-21 16:36 •1008次阅读

Meta发布新型无监督视频预测模型“V-JEPA”

Meta，这家社交媒体和科技巨头，近日宣布推出一种新型的无监督视频预测模型，名为“V-JEPA”。这一模型在视频处理领域引起了广泛关注，因为它通过抽象性预测生成视频中缺失或模糊的部分来进行学习，提供了一种全新的视频处理方法。

发表于 02-19 11:19 •1008次阅读

2024年AI领域将会有哪些新突破呢？

传统的机器学习需要大量的标记数据进行训练，但自监督学习可以通过无监督的方式从大规模未标记的数据中学习到更有用的表示形式，从而提高模型的性能。

发表于 01-24 09:58 •2005次阅读

谷歌MIT最新研究证明：高质量数据获取不难，大模型就是归途

另一个极端是，监督学习方法（即SupCE）会将所有这些图像视为单一类（如「金毛猎犬」）。这就忽略了这些图像在语义上的细微差别，例如在一对图像中狗在骑自行车，而在另一对图像中狗坐在寿司屋内。

发表于 01-15 15:40 •537次阅读