为什么要打开神经网络“黑匣子”？-德赢Vwin官网网

本文经AI新媒体量子位（ID：QbitAI）授权转载，转载请联系出处

萧箫发自凹非寺

神经网络就像“炼丹炉”一样，投喂大量数据，或许能获得神奇的效果。

“炼丹”成功后，神经网络也能对没见过的数据进行预测了~

然而，这种情况下，神经网络其实成了“黑匣子”——具有一定的功能，但看不见是怎么起作用的。

如果只做简单的图像分类，其实还好；但如果用在医学方向，对疾病进行预测，那么神经网络下的“判断”就不可轻信。

如果能了解它是怎么工作的，就更好了。

出于这种考虑，来自牛津大学的博士生Oana-Maria Camburu撰写了毕业论文《解释神经网络（Explaining Deep Neural Networks）》。

在这篇论文中，她将这些“黑匣子”一个个打开，对神经网络原理进行了详细的解释。

为什么要打开神经网络“黑匣子”？

事实上，神经网络之所以起作用，最直观的原因就是，它由大量非线性函数组成。

这些非线性函数，使得网络可以学习原始数据中各种抽象级特征。

然而，也正是因为神经网络中的这些非线性函数，使得人类往往难以理解，它们是如何起作用的。

这就导致神经网络在疾病预测、信用额度、刑法等方向上“不太受欢迎”。

医生和法律相关的研究者往往更乐意采用可解释模型，例如线性回归、决策树，因为神经网络在疾病预测中的确出过问题：

人们利用神经网络预测肺炎患者的病情发展，其中一项患者特征为是否有哮喘病史。

神经网络经过训练后预测，有哮喘病史的患者死于肺炎的可能性较低。

但其实结果恰好相反，哮喘本身会给肺炎带来雪上加霜的效果。

之所以数据表明哮喘患者较少死于肺炎，往往是因为哮喘能被及早发现，所以患者得肺炎后能被及早治疗。

如果这种神经网络被应用于实践中，将会带来非常危险的结果。

此外，即使是神经网络，也会对男女性别产生刻板印象、产生种族偏见。

例如，调查表明，有些语料库和模型，在预测再犯时，会更“偏爱”男性。

除了错误的预测和种族、性别歧视以外，神经网络还很脆弱。

无论是对图像进行小改动欺骗分类算法、还是用语音识别瞒过NLP模型，神经网络被“爆雷”的情况也不少。

为了让神经网络应用于更多的方向，也为了让我们更好地学习它的原理，作者从两个方向对神经网络进行了解释。

2种方法解释神经网络

“事后再解释”

第一种方法，称之为基于特征的解释方法，又叫“事后再解释”——因为这种方法，是在神经网络训练好后，才对其输入特征进行解释的。

这种方法针对文本的词（token）、或是针对图像的超像素（super pixels），进行“事后”解释。

目前这种方法应用较为普遍，不容易出现解释偏见，但需要验证解释方法的真实性。

这里的根本原理，是研究外部解释方法给出的解释、与模型本身生成的自然语言解释之间，是否存在相关性，而相关性具体又是什么。

在论文中，作者引入了一种新的验证方法，来判断解释方法的真实性。

让神经网络自己解释

那么，如果能让神经网络一边训练、一边“解释自己”呢？

这是论文提到的第二种方法，即在模型中植入一个生成预测解释的模块，对预测的结果进行解释。

至于神经网络对自己的解释是否正确，还需要人为进行判断。

在这里面，作者同样引入了一种判断方法，对模型自己生成的解释进行判断，从而得出神经网络解释的结果。

对神经网络详细结构、具体解释方法感兴趣的小伙伴，可以戳下方论文地址查看~

作者介绍

Oana-Maria Camburu，来自罗马尼亚，目前是牛津大学的博士生，主修机器学习、人工智能等方向。

高中时期，Oana-Maria Camburu曾获IMO（国际奥数竞赛）银牌。她曾经在马普所、谷歌实习，读博期间，论文被ACL、EMNLP、IJCNLP等顶会收录。

原文标题：神经网络“炼丹炉”内部构造长啥样？牛津大学博士小姐姐用论文解读

文章出处：【微信公众号：人工智能与大数据技术】欢迎添加关注！文章转载请注明出处。

责任编辑：haq

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

神经网络

神经网络

+关注

关注
42

文章
4771

浏览量
100708
数据

数据

+关注

关注
8

文章
7002

浏览量
88937

原文标题：神经网络“炼丹炉”内部构造长啥样？牛津大学博士小姐姐用论文解读

文章出处：【微信号：TheBigData1024，微信公众号：人工智能与大数据技术】欢迎添加关注！文章转载请注明出处。

电梯黑匣子：守护安全的智慧守护者

在现代都市生活中，电梯已成为人们日常生活中不可或缺的交通工具。然而，随着电梯使用频率的增加，电梯安全问题也日益凸显。为了保障电梯运行的安全性和可靠性，电梯黑匣子应运而生，成为电梯安全运行的智慧守护者。

发表于 11-16 16:28 •159次阅读

卷积神经网络与传统神经网络的比较

在深度学习领域，神经网络模型被广泛应用于各种任务，如图像识别、自然语言处理和游戏智能等。其中，卷积神经网络（CNNs）和传统神经网络是两种常见的模型。 1. 结构差异 1.1 传统神经网络

发表于 11-15 14:53 •374次阅读

BP神经网络最少要多少份样本

BP神经网络（Backpropagation Neural Network）是一种多层前馈神经网络，通过反向传播算法进行训练。BP神经网络在许多领域都有广泛的应用，如图像识别、语音识别、自然语言处理

发表于 07-11 10:31 •555次阅读

BP神经网络和卷积神经网络的关系

BP神经网络（Backpropagation Neural Network）和卷积神经网络（Convolutional Neural Network，简称CNN）是两种在人工智能和机器学习领域

发表于 07-10 15:24 •1429次阅读

BP神经网络和人工神经网络的区别

BP神经网络和人工神经网络（Artificial Neural Networks，简称ANNs）之间的关系与区别，是神经网络领域中一个基础且重要的话题。本文将从定义、结构、算法、应用及未来发展等多个方面，详细阐述BP

发表于 07-10 15:20 •1014次阅读

rnn是递归神经网络还是循环神经网络

RNN（Recurrent Neural Network）是循环神经网络，而非递归神经网络。循环神经网络是一种具有时间序列特性的神经网络，能够处理序列数据，具有记忆功能。以下是关于循环

发表于 07-05 09:52 •555次阅读

递归神经网络是循环神经网络吗

递归神经网络（Recurrent Neural Network，简称RNN）和循环神经网络（Recurrent Neural Network，简称RNN）实际上是同一个概念，只是不同的翻译方式

发表于 07-04 14:54 •729次阅读

循环神经网络和卷积神经网络的区别

循环神经网络（Recurrent Neural Network，RNN）和卷积神经网络（Convolutional Neural Network，CNN）是深度学习领域中两种非常重要的神经网络

发表于 07-04 14:24 •1263次阅读

深度神经网络与基本神经网络的区别

在探讨深度神经网络（Deep Neural Networks, DNNs）与基本神经网络（通常指传统神经网络或前向神经网络）的区别时，我们需要从多个维度进行深入分析。这些维度包括

发表于 07-04 13:20 •836次阅读

反向传播神经网络和bp神经网络的区别

反向传播神经网络（Backpropagation Neural Network，简称BP神经网络）是一种多层前馈神经网络，它通过反向传播算法来调整网络中的权重和偏置，以达到最小化误差的

发表于 07-03 11:00 •788次阅读

bp神经网络是深度神经网络吗

BP神经网络（Backpropagation Neural Network）是一种常见的前馈神经网络，它使用反向传播算法来训练网络。虽然BP神经网络在某些方面与深度

发表于 07-03 10:14 •825次阅读

bp神经网络和卷积神经网络区别是什么

BP神经网络（Backpropagation Neural Network）和卷积神经网络（Convolutional Neural Network，简称CNN）是两种不同类型的人工神经网络，它们在

发表于 07-03 10:12 •1150次阅读

卷积神经网络和bp神经网络的区别

卷积神经网络（Convolutional Neural Networks，简称CNN）和BP神经网络（Backpropagation Neural Networks，简称BPNN）是两种

发表于 07-02 14:24 •3631次阅读

梯云物联：什么是电梯黑匣子？具有哪些功能特点？

电梯黑匣子，正式名称为电梯运行数据记录器，是一种利用当今最先进的物联网技术建设的系统，用于电梯系统中的数据记录。它通过安装物联网实时监测设备，可以实时采集电梯运行的各类参数，对电梯进行全天候的数据监控，并对数据进行长时间的存储。这些参数包括但不限于电梯的速度、位置、开关门状态、载重量等。

发表于 04-14 17:53 •821次阅读

深入剖析飞机黑匣子内部PCB与芯片的秘密

上为FDR，下为CVR Flight Data Recorder(FDR)，中文一般叫飞行数据记录器，主要是记录飞机飞行过程中各项指标参数数据的设备。一般说黑匣子大部分都是指的FDR，是空难调查中最重要的直接证据。

发表于 02-28 14:55 •757次阅读

搜索历史

为什么要打开神经网络“黑匣子”？

评论

电梯黑匣子：守护安全的智慧守护者

卷积神经网络与传统神经网络的比较

BP神经网络最少要多少份样本

BP神经网络和卷积神经网络的关系

BP神经网络和人工神经网络的区别

rnn是递归神经网络还是循环神经网络

递归神经网络是循环神经网络吗

循环神经网络和卷积神经网络的区别

深度神经网络与基本神经网络的区别

反向传播神经网络和bp神经网络的区别

bp神经网络是深度神经网络吗

bp神经网络和卷积神经网络区别是什么

卷积神经网络和bp神经网络的区别

梯云物联：什么是电梯黑匣子？具有哪些功能特点？

深入剖析飞机黑匣子内部PCB与芯片的秘密