深度神经网络的实现机理与决策逻辑难以理解-德赢Vwin官网网

人工神经网络（Artificial Neural Network，ANN）是一种模仿生物神经网络结构和功能的数学模型或计算模型，在给定条件下能近似地逼近任意复杂的函数或分布。近年来，随着深度学习，即深度神经网络的迅速发展，神经网络模型在自然语言处理、语音识别、计算机视觉等众多领域获得突破性进展，取得了令人瞩目的成果。

然而随着深度学习技术在多个领域的大量应用，其背后隐藏的安全问题也随之而来。特别是在医学诊断、网络安全、自动驾驶等对安全性有较高要求的领域，深度神经网络所隐藏的安全风险限制了其自身在更多领域的应用和推广，引起了政府、学术界及工业界的关注。基于深度神经网络的人工智能系统主要面临结果不可验证和过程不可审查两大安全问题。结果不可验证指的是基于深度神经网络的人工智能系统输出结果无法被判断、预测，智能系统行为边界难以掌握，导致系统不可控，本质上是深度神经网络结果不可判读。过程不可审查指的是系统决策背后的逻辑不明，代码实现缺乏可信度，本质上是深度神经网络的实现机理与决策逻辑难以理解。

实际上，人工智能系统所面临的两大安全问题的根源在于深度神经网络的不可解释性。深度神经网络可解释性定义为可判读（interpretability）和可理解（explainability）两方面的内容。可判读性，即深度神经网络输出可判读，结果可预测，能有效建立起输入空间与输出空间的映射关系，有利于人们掌握系统的行为边界，从而避免基于深度神经网络的人工智能系统所面临的不可验证问题。可理解性，即深度神经网络内部工作原理透明，各模块作用意义可见，能对模型输出结果做出解释，揭示其背后的决策逻辑，并能有效地分析模型内部的逻辑漏洞和数据死角，解决基于深度神经网络的人工智能系统所面临的不可审查问题。因此，随着基于深度神经网络的人工智能系统的广泛应用，亟须对神经网络的可解释性进行研究并构造可解释的神经网络，从而提高人工智能系统的安全性，保障人工智能应用在各大领域能安全有效地运行。

针对上述人工智能系统中的安全问题，国际标准化组织/国际电工委员会（ISO/IEC）成立了人工智能可信研究组，开展人工智能安全标准化的研究。其主要工作为：通过研究人工智能可验证性、可解释性、可控性等调查建立可信人工智能系统的方法。目的是通过增强深度学习的可理解性来建立可靠、可信的深度学习系统，主要解决其面临的过程不可审查的安全问题。目前，神经网络可解释性的研究大多基于数据可视化和代理模型等技术，即在深度神经网络模型构建前后，对输入、输出进行可视化，并依此对神经网络层进行解释。这是对深度神经网络模型可判读性的研究，其本质上仅涉及到深度学习智能系统安全中的不可验证问题。换言之，这些工作难以解决其所面临的不可审查问题。因此，亟待研究一个能同时提高深度神经网络可判读性和可理解性，进而解决基于深度神经网络的人工智能系统中结果不可验证和过程不审查两大问题的方法。

可微编程（Differentiable Programming）作为一种新型的研究方法，受到了学术界的关注。可微编程最早由ACM图灵奖得主雅恩·乐昆（Yann LeCun）教授提出，其核心思想是将神经网络当成一种语言，从而描述客观世界的概念以及概念相互之间的关系。这与现代科学将数学视作一门科学语言从而描述客观世界的思想是一脉相通的。目前可微编程主要集中在将现有的机器学习的方法转化成等价的神经网络，使得模型同时具有传统统计机器学习方法的可解释性强以及深度神经网络性能较优等优点，极大地提高了深度神经网络的可判读性和可理解性。与现有的神经网络可解释性研究方法不同的是，基于可微编程的神经网络可解释性研究，旨在直接构建一个可解释的神经网络模型，而非对已有的深度神经网络模型进行解释。后者往往是通过一个新的模型来解释现有的不可解释的“黑箱”神经网络，而这样的可解释性研究通常是不可靠的，甚至会造成误导。前者则通过直接构建一个继承自统计机器学习或现实物理模型的可解释的深度神经网络模型，提供一个可靠的、透明的、可信的人工智能系统。

综上，神经网络的可解释性不同于可解释的神经网络。前者一般针对已有的神经网络结构、行为、决策等进行解释，而后者则着重直接构建可解释的神经网络模型，其结构、工作原理、决策行为及输出结果本就能为人理解。但是目前大多相关研究仅局限于神经网络的可解释性而非可解释的神经网络。正如鲁丁（Rudin）教授2019年在《自然-机器智能》（Nature Machine Intelligence）上发表的论文所言：人们亟须对可解释的深度神经网络进行研究，而不应局限于研究神经网络的可解释性。

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

神经网络

神经网络

+关注

关注
42

文章
4771

浏览量
100704
人工智能系统

人工智能系统

+关注

关注
0

文章
38

浏览量
10585

详解深度学习、神经网络与卷积神经网络的应用

在如今的网络时代，错综复杂的大数据和网络环境，让传统信息处理理论、人工智能与人工神经网络都面临巨大的挑战。近些年，深度学习逐渐走进人们的视线，通过深

发表于 01-11 10:51 •2021次阅读

神经网络资料

基于深度学习的神经网络算法

发表于 05-16 17:25

【案例分享】ART神经网络与SOM神经网络

今天学习了两个神经网络，分别是自适应谐振（ART）神经网络与自组织映射（SOM）神经网络。整体感觉不是很难，只不过一些最基础的概念容易理解不清。首先ART

发表于 07-21 04:30

解析深度学习：卷积神经网络原理与视觉实践

解析深度学习：卷积神经网络原理与视觉实践

发表于 06-14 22:21

深度神经网络是什么

多层感知机深度神经网络in collaboration with Hsu Chung Chuan, Lin Min Htoo, and Quah Jia Yong. 与许忠传，林敏涛和华佳勇合作

发表于 07-12 06:35

基于深度神经网络的激光雷达物体识别系统

的激光雷达物体识别技术一直难以在嵌入式平台上实时运行。经纬恒润经过潜心研发，攻克了深度神经网络在嵌入式平台部署所面临的算子定制与加速、量化策略、模型压缩等难题，率先实现了高性能激光检测

发表于 12-21 07:59

卷积神经网络模型发展及应用

卷积神经网络模型发展及应用转载****地址：http://fcst.ceaj.org/CN/abstract/abstract2521.shtml深度学习是机器学习和人工智能研究的最新趋势，作为一个

发表于 08-02 10:39

深度神经决策树：深度神经网络和树模型结合的新模型

近日，来自爱丁堡大学的研究人员提出了一种结合深度神经网络和树模型的新型模型——深度神经决策树(Deep Neural Decision Tr

发表于 08-19 09:14 •1.3w次阅读

用于理解深度神经网络的CLass增强型注意响应（CLEAR）方法

我们提出了CLass增强的注意响应（CLEAR）：一种可视化和理解深度神经网络（DNN）在给定特定输入的情况下做出的决策的方法。

发表于 11-12 06:11 •1983次阅读

用Python从头实现一个神经网络来理解神经网络的原理1

有个事情可能会让初学者惊讶：神经网络模型并不复杂！『神经网络』这个词让人觉得很高大上，但实际上神经网络算法要比人们想象的简单。这篇文章完全是为新手准备的。我们会通过用Python从头实

发表于 02-27 15:05 •687次阅读

用Python从头实现一个神经网络来理解神经网络的原理2

有个事情可能会让初学者惊讶：神经网络模型并不复杂！『神经网络』这个词让人觉得很高大上，但实际上神经网络算法要比人们想象的简单。这篇文章完全是为新手准备的。我们会通过用Python从头实

发表于 02-27 15:06 •616次阅读

用Python从头实现一个神经网络来理解神经网络的原理3

有个事情可能会让初学者惊讶：神经网络模型并不复杂！『神经网络』这个词让人觉得很高大上，但实际上神经网络算法要比人们想象的简单。这篇文章完全是为新手准备的。我们会通过用Python从头实

发表于 02-27 15:06 •720次阅读

用Python从头实现一个神经网络来理解神经网络的原理4

有个事情可能会让初学者惊讶：神经网络模型并不复杂！『神经网络』这个词让人觉得很高大上，但实际上神经网络算法要比人们想象的简单。这篇文章完全是为新手准备的。我们会通过用Python从头实

发表于 02-27 15:06 •678次阅读

卷积神经网络和深度神经网络的优缺点卷积神经网络和深度神经网络的区别

深度神经网络是一种基于神经网络的机器学习算法，其主要特点是由多层神经元构成，可以根据数据自动调整神经元之间的权重，从而

发表于 08-21 17:07 •4085次阅读

深度神经网络与基本神经网络的区别

在探讨深度神经网络（Deep Neural Networks, DNNs）与基本神经网络（通常指传统神经网络或前向神经网络）的区别时，我们需

发表于 07-04 13:20 •836次阅读