半监督算法DocRE的新组件-德赢Vwin官网网

今天给大家分享的是是ACL 2022上与实体关系抽取相关的部门论文范读笔记。其中有一些小喵自己也在学习，后续会推出精读笔记。

1. DocRE

论文概括：具有自适应焦点损失和知识蒸馏的文档级关系抽取

文档级关系抽取要同时从多个句子中提取关系。针对这个任务，本文提出了一个半监督算法 DocRE。DocRE 共有三个新组件：

第一，用轴向注意力模块学习实体对之间的依赖关系。

第二，提出了一个自适应的焦点损失来解决DocRE中类的不平衡问题。

最后，利用知识蒸馏来克服人工标注数据与远程监督数据之间的差异。

现有问题：现存的方法关注实体对的句法特征，而忽略了实体对之间的交互作用；目前还没有工作可以直接地解决类的不平衡问题。现存的工作仅仅关注阈值学习来平衡正例和负例，但正例内部的类不平衡问题并没有得到解决；关于将远程监督数据应用于DocRE任务的研究很少。

贡献点：

轴向注意力：提升two-hop关系的推理能力；

自适应焦点损失：解决标签分配不平衡的问题，长尾类在总的损失中占比较多；

知识蒸馏：克服标注数据和远程监督数据之间的差异。

DocRE

2. PL-Marker

论文名称：《Packed Levitated Marker for Entity and Relation Extraction》

论文链接：https://aclanthology.org/2022.acl-long.337.pdf

代码地址：https://github.com/thunlp/PL-Marker

论文概括：打包悬浮标记用于实体和关系抽取

最近的命名实体识别和关系抽取工作专注于研究如何从预训练模型中获得更好的span表示。然而，许多工作忽略了span之间的相互关系。本文提出了一种基于悬浮标记的span表示方法，在编码过程中通过特定策略打包标记来考虑span之间的相互关系。对于命名实体识别任务，提出了一种面向邻居span的打包策略，以更好地建模实体边界信息。对于关系抽取任务，设计了一种面向头实体的打包策略，将每个头实体以及可能的尾实体打包，以共同建模同头实体的span对。

PL-Marker

3. CRL

论文名称：《Consistent Representation Learning for Continual Relation Extraction》

论文链接：https://aclanthology.org/2022.findings-acl.268.pdf

代码地址：https://github.com/thuiar/CRL

论文概括：一致表示学习用于连续关系抽取

通过对比学习和回放记忆时的知识蒸馏，提出一种新颖的一致性表示学习方法。使用基于记忆库的监督对比学习来训练每一个新的任务，以使模型高效学习特征表示。为了防止对老任务的遗忘，构造了记忆样本的连续回放，同时让模型保留在知识蒸馏中历史任务之间的关系。

CRL

4. MCMN

论文名称：《Pre-training to Match for Unified Low-shot Relation Extraction》

论文链接：https://aclanthology.org/2022.acl-long.397.pdf

代码地址：https://github.com/fc-liu/MCMN

论文概括：预训练用于匹配统一少样本关系抽取

低样本关系抽取旨在少样本甚至零样本场景下的关系抽取。由于低样本关系抽取所包含任务形式多样，传统方法难以统一处理。本文针对这一问题，提出了一种统一的低样本匹配网络：

基于语义提示（prompt）范式，构造了从关系描述到句子实例的匹配网络模型；

针对匹配网络模型学习，设计了三元组-复述的预训练方法，以增强模型对关系描述与实例之间语义匹配的泛化性。

在零样本、小样本以及带负例的小样本关系抽取评测基准上的实验结果表明，该方法能有效提升低样本场景下关系抽取的性能，并且具备了较好的任务自适应能力。

审核编辑：彭静

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

数据

数据

+关注

关注
8

文章
7002

浏览量
88937
编码

编码

+关注

关注
6

文章
940

浏览量
54811
训练模型

训练模型

+关注

关注
1

文章
36

浏览量
3810

原文标题：4. MCMN

文章出处：【微信号：zenRRan，微信公众号：深度学习自然语言处理】欢迎添加关注！文章转载请注明出处。

半监督典型相关分析算法

半监督典型相关分析算法:在典型相关分析算法(canonical correlation analysis,简称CCA)的基础上,通过引入以成对约束形式给出的

发表于 10-31 08:59 •12次下载

基于半监督学习的跌倒检测系统设计_李仲年

发表于 03-19 19:11 •4次下载

半监督的谱聚类图像分割

采用IRAM算法计算相似度矩阵的主导特征值，减小运算时间。为解决谱聚类敏感于尺度参数的问题，提出利用少量监督样本求取每幅图像特有的尺度参数，进行半监督图像分割。通过对UCI数据集和自然

发表于 11-13 11:17 •4次下载

基于C均值聚类和图转导的半监督分类算法

针对传统图转导（ GT）算法计算量大并且准确率不高的问题，提出一个基于C均值聚类和图转导的半监督分类算法。首先，采用模糊C均值（FCM）聚类算法

发表于 11-28 16:36 •0次下载

基于最优投影的半监督聚类算法

针对谱聚类算法在解决高维、大数据量的聚类问题时出现的效率不高和准确率明显下降的问题进行了研究，并在此研究基础上结合最优投影理论和Nystrom抽样提出了基于最优投影的半监督谱聚类算法

发表于 01-14 11:54 •0次下载

基于半监督学习框架的识别算法

问题，对半监督学习中的协同训练算法进行改进，提出了一种基于多学习器协同训练模型的人体行为识别方法．这是一种基于半监督学习框架的识别算法，该方

发表于 01-21 10:41 •1次下载

如何约束半监督分类方法的详细资料概述

假设联合成对约束半监督分类方法（ ACA-JPC-S3VM）。一方面，它将单个未标记样本到数据分布边界的距离融入到模型的学习中，能够一定程度上缓解此类情况下算法性能的下降程度;另一方面，它将成对约束信息引入，弥补了模型对

发表于 11-15 11:32 •4次下载

机器学习算法中有监督和无监督学习的区别

无监督学习的好处之一是，它不需要监督学习必须经历的费力的数据标记过程。但是，要权衡的是，评估其性能的有效性也非常困难。相反，通过将监督学习算法的输出与测试数据的实际标签进行比较，可以很

发表于 07-07 10:18 •5754次阅读

最基础的半监督学习

导读最基础的半监督学习的概念，给大家一个感性的认识。半监督学习(SSL)是一种机器学习技术，其中任务是从一个小的带标签的数据集和相对较大的未带标签的数据中学习得到的。SSL的目标是

发表于 11-02 16:08 •2646次阅读

半监督学习最基础的3个概念

导读今天给大家介绍半监督学习中的3个最基础的概念：一致性正则化，熵最小化和伪标签，并介绍了两个经典的半监督学习方法。没看一的点这里哈：半

发表于 11-02 16:14 •2955次阅读

为什么半监督学习是机器学习的未来？

为什么半监督学习是机器学习的未来。监督学习是人工智能领域的第一种学习类型。从它的概念开始，无数的算法，从简单的逻辑回归到大规模的神经网络，都已经被研究用来提高精确度和预测能力。然而

发表于 11-27 10:42 •3896次阅读

一种带有局部坐标约束的半监督概念分解算法

和数据有限的标签信息融入到CF模型中，提出了一种带有局部坐标约束的半监督的概念分解（SLCF）算法。SICF算法利用局部坐标约束学习数据的稀疏性，数据标签约束矩阵能够保证同类标签的数据

发表于 03-31 11:47 •10次下载

一种基于光滑表示的半监督分类算法

。文中提岀了一种基于光滑表示的半监督分类算法。具体来说，此方法通过应用一个低通滤波器来实现数据的平滑，然后将光滑数据用于半监督分类。此外，所

发表于 04-08 10:47 •17次下载

一种基于DE和ELM的半监督分类方法

演化算法和分析方法的结合是机器学习领域近几年的一个研究热点。研究如何将差分进化（DE）演化算法与基于超限学习机（ELM）的半监督分类算法相结

发表于 04-09 16:16 •5次下载

一种基于伪标签半监督学习的小样本调制识别算法

一种基于伪标签半监督学习的小样本调制识别算法来源：《西北工业大学学报》，作者史蕴豪等摘要：针对有标签样本较少条件下的通信信号调制识别问题，提出了一种基于伪标签半

发表于 02-10 11:37 •817次阅读