NLP中的神经网络设计与学习-德赢Vwin官网网

神经网络技术是现代人工智能的关键技术，在自然语言处理、图像处理等领域表现出优异效果。来自东北大学自然语言处理实验室、小牛翻译团队的肖桐教授、博士生李垠桥、李北在CCMT 2022会议所进行的《自然语言处理中的神经网络设计与学习》演讲报告，从神经网络架构在自然语言处理中的发展、人工神经网络设计和自动化架构设计三个方面对该领域技术发展进行了全面梳理，同时也对方向的未来发展进行了分析和探讨。

近些年来，人工神经网络方法已经成为了自然语言处理中最重要的范式之一。但是，大量依赖人工设计的神经网络结构，导致自然语言处理领域的发展很大程度依赖于神经网络结构上的突破。由于神经网络结构设计大多源自研究人员的灵感和大量经验性尝试，如何挖掘这些神经网络结构背后的逻辑，如何系统化的思考不同神经网络结构之间的内在联系，是使用这类方法时所需要深入考虑并回答的问题。甚至，可以想象，让计算机自动设计神经网络架构，也可以成为进一步突破人类思维限制的方向之一。

在《自然语言处理中的神经网络设计与学习》中，讲者们根据自身研究经验对上述问题进行了回答，对神经网络架构的基本发展脉络、常用的神经网络架构的设计理念进行分析，同时对神经网络架构的自动设计方法进行整理。这些内容可以为相关研究者供模型架构设计上的一些思路，以及实践中的参考。同时，讲者在分享中也呼吁研究者更多地以系统化的思考方式来看待神经网络方法在自然语言处理中的应用，而非简单像“黑盒”一样使用它们。

第一部分：神经网络架构在自然语言处理中的发展

报告的第一部分内容由小牛翻译联合创始人、东北大学计算机学院博士生导师肖桐教授讲述。首先回顾了自然语言处理中神经网络的发展，从上世纪五十年代的感知机开始到如今的预训练模型，为自然语言处理领域神经网络的发展构建了一张脉络图。并以该图为主线，梳理了自然语言处理领域里程碑级别的神经网络模型及其影响，包括NNLM、Word2Vec、RNN、Seq2Seq、Attention、Transformer、预训练模型等重要工作。接下来，以神经网络架构设计思想为核心，介绍了从不同学科的视角看神经网络，并以卷积神经网络和Transformer作实例探讨了隐藏在复杂模型背后的神经网络设计灵感来源，包括卷积神经网络与人类视觉系统感受野的关系、Transformer位置编码和自注意力机制设计灵感来源。最后，列举了设计神经网络架构面临的四个挑战。

第二部分：基于人工先验知识的神经网络设计

报告的第二部分由东北大学博士生李北讲述。本部分主要关注基于人工先验的神经网络设计，内容围绕基于Transformer模型的网络结构改进工作展开，包括基于跨层连接的结构优化、注意力机制的改进、多尺度建模、混合专家系统及应用数值理论提高参数高效性五方面工作。在每个方面，讲者从方法的早期灵感开始介绍，并介绍了方法的发展脉络和随后的改进工作，对近年来结构优化相关的工作实现了大规模的覆盖。其中详细讨论了关于模型对浅层信息利用不充分，深层网络的训练稳定性，深层网络的深度退化问题，注意力的局部建模，多头注意力的增强，注意力、架构、语义单元多尺度网络，多分支网络设计，显性建模和隐性建模等问题。

第三部分：自动化设计神经网络架构

报告的第三部分由东北大学博士生李垠桥讲述。主要围绕如何通过自动化地方式对神经网络架构进行设计而展开。在该部分中讲者首先介绍了什么是神经网络架构的自动设计，对比了机器学习中三种不同的范式的差异，然后通过对神经网络技术发展的历史回顾切入，对自动化架构设计在其中扮演的角色进行了梳理。在此之后讲者对自动化架构设计的整体框架进行细致的介绍，包括搜索空间、搜索策略以及性能评估，让大家对这类方法本身具备清楚的认知。再后讲者以自然语言处理任务为例介绍了如何应用自动化机器学习的方式对结构进行优化和设计，对自动化架构搜索在自然语言处理领域中所要解决的问题进行分析。最终，还对目前自动化架构设计中依旧存在的重要问题进行了探讨，希望对读者有进一步的帮助和启发。

部分slides如下：

审核编辑：李倩

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

神经网络

神经网络

+关注

关注
42

文章
4771

浏览量
100712
自然语言处理

自然语言处理

+关注

关注
1

文章
618

浏览量
13550
nlp

nlp

+关注

关注
1

文章
488

浏览量
22033

原文标题：CCMT讲习班 | NLP中的神经网络设计与学习｜附338页ppt与讲解文章

文章出处：【微信号：zenRRan，微信公众号：深度学习自然语言处理】欢迎添加关注！文章转载请注明出处。

详解深度学习、神经网络与卷积神经网络的应用

在如今的网络时代，错综复杂的大数据和网络环境，让传统信息处理理论、人工智能与人工神经网络都面临巨大的挑战。近些年，深度学习逐渐走进人们的视线，通过深度

发表于 01-11 10:51 •2021次阅读

详解深度<b class='flag-5'>学习</b>、<b class='flag-5'>神经网络</b>与卷积<b class='flag-5'>神经网络</b>的应用

神经网络教程（李亚非）

源程序　　5.3 Gaussian机　　第6章自组织神经网络　　6.1 竞争型学习　　6.2 自适应共振理论(ART)模型　　6.3 自组织特征映射(SOM)模型　　6.4 CPN模型　　第7章联想

发表于 03-20 11:32

神经网络资料

基于深度学习的神经网络算法

发表于 05-16 17:25

【案例分享】基于BP算法的前馈神经网络

传播的，不会回流），区别于循环神经网络RNN。BP算法（Back Propagation）：误差反向传播算法，用于更新网络中的权重。BP神经网络思想：表面上：1. 数据信息的前向传播，

发表于 07-21 04:00

【案例分享】ART神经网络与SOM神经网络

，同理，阈值越大，则容纳的模式类也就越多----------以上纯属个人理解，如果有错误欢迎指正。ART比较好地缓解了竞争型学习中的“可塑性-稳定性窘境”，其中可塑性指神经网络要能够学习

发表于 07-21 04:30

【AI学习】第3篇--人工神经网络

`本篇主要介绍：人工神经网络的起源、简单神经网络模型、更多神经网络模型、机器学习的步骤：训练与预测、训练的两阶段：正向推演与反向传播、以TensorFlow + Excel表达训练流程

发表于 11-05 17:48

如何构建神经网络？

原文链接：http://tecdat.cn/?p=5725 神经网络是一种基于现有数据创建预测的计算系统。如何构建神经网络？神经网络包括：输入层：根据现有数据获取输入的层隐藏层：使用反向传播优化输入变量权重的层，以提高模型的预测

发表于 07-12 08:02

基于BP神经网络的PID控制

最近在学习电机的智能控制，上周学习了基于单神经元的PID控制，这周研究基于BP神经网络的PID控制。神经网络具有任意非线性表达能力，可以通过

发表于 09-07 07:43

卷积神经网络模型发展及应用

network，DBN）[24]，从此拉开了深度学习大幕。随着深度学习理论的研究和发展，研究人员提出了一系列卷积神经网络模型。为了比较不同模型的质量，收集并整理了文献中模型在分

发表于 08-02 10:39

卷积神经网络简介：什么是机器学习？

抽象人工智能（AI）的世界正在迅速发展，人工智能越来越多地支持以前无法实现或非常难以实现的应用程序。本系列文章解释了卷积神经网络 （CNN）及其在 AI 系统中机器学习中的重要性

发表于 02-23 20:11

NLP多任务学习案例分享：一种层次增长的神经网络结构

在 NLP 领域研究者们开始研究基于神经网络的多任务学习。大多数方法通过网络参数共享来学习任务间的关联，提升各任务效果。

发表于 01-05 16:10 •4403次阅读

NLP中的深度学习技术概述

该项目是对基于深度学习的自然语言处理（NLP）的概述，包括用来解决不同 NLP 任务和应用的深度学习模型（如循环神经网络、卷积

发表于 03-01 09:13 •4804次阅读

神经网络与神经网络控制的学习课件免费下载

本文档的主要内容详细介绍的是神经网络与神经网络控制的学习课件免费下载包括了:1生物神经元模型，2人工神经元模型，3人工

发表于 01-20 11:20 •7次下载

什么是神经网络？什么是卷积神经网络？

在介绍卷积神经网络之前，我们先回顾一下神经网络的基本知识。就目前而言，神经网络是深度学习算法的核心，我们所熟知的很多深度学习算法的背后其实都

发表于 02-23 09:14 •3487次阅读

人工神经网络和bp神经网络的区别

着重要作用。BP神经网络（Back Propagation Neural Network, BPNN）是人工神经网络中的一种常见的多层前馈神经网络，

发表于 08-22 16:45 •4449次阅读

搜索历史

NLP中的神经网络设计与学习

评论

详解深度学习、神经网络与卷积神经网络的应用

神经网络教程（李亚非）

神经网络资料

【案例分享】基于BP算法的前馈神经网络

【案例分享】ART神经网络与SOM神经网络

【AI学习】第3篇--人工神经网络

如何构建神经网络？

基于BP神经网络的PID控制

卷积神经网络模型发展及应用

卷积神经网络简介：什么是机器学习？

NLP多任务学习案例分享：一种层次增长的神经网络结构

NLP中的深度学习技术概述

神经网络与神经网络控制的学习课件免费下载

什么是神经网络？什么是卷积神经网络？

人工神经网络和bp神经网络的区别