一个新的理论框架来理解和分析由分层神经网络形成的表示-德赢Vwin官网网

目前，还没有人能够真正理解深度网络在目标分类任务方面的运行方式和原理。主要原因是对深度网络在分类任务中所做的“工作”还没有一个很好的衡量标准，一篇最近发表的关于“通用感知流形”理论的论文试图解决这个问题。

这篇论文于7月5日发表在《Phisical Review X》上，题为《Classification and Geometry of General Perceptual Manifolds》。论文作者为哈佛大学工程和应用科学系的SueYeon Chung, 宾夕法尼亚大学工程与应用科学系的Daniel D. Lee以及哈佛大学大脑科学中心的Haim Sompolinsky。

用统计力学理解机器学习，分析分层网络的表示

文章提出，当神经元群对与相同感知目标的不同物理特征（如方向、姿势、规模、位置和强度等）相关的感觉信号集合做出反应时，就会出现感知流形（Perceptual manifold）。对目标的识别和区分需要以对流形内部变化不敏感的方式对流形进行分类。神经元系统对不变目标的分类和识别是大脑理论和机器学习中的基本问题。

文章研究读出网络（readout network）从其流形表示中对对象进行分类的能力，开发了一种统计力学理论，用于对任意几何形状的流形进行线性分类，并表明该理论与圆锥分解在数学上显著相关。文中表明，位于流形上的特殊锚点可以定义半径和维度的新几何学量度，这可以解释各种几何形状的流形的分类能力。

这个通用理论已经在许多有代表性的流形上得到证明，包括典型的严格凸流形的l2椭圆体流形，代表具有有限样本的多面体的l1球流形，以及代表由于调节连续自由度而产生的非凸连续结构的环状流形。同时我们也阐明了标注稀疏性对一般流形分类能力的影响，表明了标注稀疏与流形半径之间存在广泛的比例关系。文章使用新开发的算法计算多种二分法的最大边际解，通过数值vwin 证实了理论预测。此文提出的理论及其扩展提供了一个强大而丰富的框架，可用于将线性分类的统计力学应用于由感知神经元响应产生的数据以及针对目标识别任务训练的人工深度网络中。

我们的大脑能够准确地对我们看到的物体进行分类，就算这些不同的物体的属性参数（比如亮度、形态和背景特征）彼此间存在巨大差异，对大脑而言也往往不成问题。机器学习的最新进展已经产生了与我们的大脑具有相似能力的神经网络。然而，对生物和人工智能系统为何能达到如此高的识别准确性，研究人员对此问题在数学上还不够理解。本文展示了如何使用统计力学理论来解释这个问题的基本原理，这些原理是神经回路面对巨大的物理上可变性时，仍能具备识别和区分目标的能力的基础。

本文将特定对象的神经表示中的可变性经几何建模为流形。在网络的特定阶段能够被成功分类的流形数量的增长与神经表示的维度成正比，但具体比例取决于流形的形状。我们的理论可以分析在网络中变化和传导的流形表示的结构，最终将其成功分类。

本文提出的理论利用图形学量度来描述神经流形的形状，这些量度能够预测何时可以分离筛选出随机标记的流形集。这些测量导致了具有任意几何形状的流形的数量，并且可以有效地计算;我们用它们来分析神经反应的原型流形模型。

本文提供了一个新的理论框架来理解和分析由分层神经网络形成的表示，可能会促进关于感知系统如何有效地编码和处理感官信息的新见解。

长期以来，感知学习的统计力学理论为理解单层神经架构及其内核扩展的性能和基本局限性打下了基础。然而，以前的理论仅考虑了不存在图形架构的、有限数量的随机点，并且无法解释由于物理参数变化引起的可变性增加，而呈现为不同流形的大规模、可能是无限数量的输入时，线性分类器的性能下降问题。本研究中提出的统计力学理论，可以解释一般流形的线性分类的能力和局限性，并用于阐明层次感觉系统中神经表征的变化。我们相信这一理论的应用及其推论的扩展将为人们如何有效地编码和处理感官信息的感知系统提供新的见解。

识别流形的通用理论：哪种网络条件可以识别出流形

此文在Reddit论坛的机器学习板块引发了一些很有意思的讨论。不过，Reddit上有小伙伴表示论文的专业用语让他看起来“就像个5岁小孩，求大神解释”。下面有好几位热心观众用比较通俗的用语和示例对此文给出了自己的解释。

比方说，你平生第一次见到一只猫，即使这只猫离你很远，又蜷曲着身子，但从它的体型形状上判断，仍然能够知道这是只猫。这篇论文提出的方法，就是要教会机器也掌握类似的识别方式，从目标的几何形状上来猜测，这是什么东西。也就是说，给计算机看一堆图形，然后让它猜测剩余部分是什么样子的，而不用从每个角度来观察目标。

其中一位ID为“Hanmilton”的坛友给出了比较系统和详实的回复（如上图）。他首先声明，自己并不是这篇论文的作者，但曾有幸听过作者之一的学术报告。他认为，这是一篇偏数学的论文，但其结论是颇具“革新性”的，接着在留言中从研究背景、重要性、应用意义上对文章进行了概述和分析。新智元对相关内容做了编译，一起来看看：

他表示，论文中的图1（下图）基本上提供了关于神经空间中“流形”概念的启发性观点。在神经空间中，我们对一只猫或狗的每个观察的方向/角度/位置变化都可以视作一个由神经元放电频率构成的平面或“流形”。图中蓝色对应为狗，粉色对应为猫。如果这两个区域没有交集，神经网络就能够分辨出猫和狗。

他认为，对目标的“神经流形”表示是深度网络理解目标和大脑识别/看见目标的框架。

2．论文其余部分是建立一个通用理论，告诉你哪种网络条件可以识别出流形，哪种则不能识别。比如，你什么时候能分辨出猫和狗，什么时候分不出来。论文中花了不少的篇幅来构建关于流形如何存在于子空间内的理论架构，如何用数学来描述（如下图）。

3．文中用了一些实例来证明这个理论。其实可以使用猫和狗的，但作者使用了更为通用的形状：球形、椭圆体和环状。

4. 文章表明，该理论可以根据流形的特点来预测哪些流形可以识别，哪些识别不出。可以看到，在给定的维度上（比如D=20），随着半径的扩大，可识别度会下降，也就是说，这能够显示出在给定数据下所构建的网络的极限。

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

神经网络

神经网络

+关注

关注
42

文章
4771

浏览量
100713
机器学习

机器学习

+关注

关注
66

文章
8406

浏览量
132561

原文标题：【深度学习再突破】让计算机一眼认出“猫”：哈佛提出新高维数据分析法

文章出处：【微信号：AI_era，微信公众号：新智元】欢迎添加关注！文章转载请注明出处。

人工神经网络原理及下载

人工神经网络是根据人的认识过程而开发出的一种算法。假如我们现在只有一些输入和相应的输出，而对如何由输入得到输出的机理并不清楚，那么我们可以把输入与输出之间的未知过程看成是

发表于 06-19 14:40

matlab神经网络30个案例分析源码

发表于 12-19 14:51

[MATAB神经网络30个案例分析].史峰.

[MATAB神经网络30个案例分析].史峰.扫描版[***51.net]

发表于 06-06 19:03

【PYNQ-Z2试用体验】神经网络基础知识

神经网络的计算。对于多层多节点的神经网络，我们可以使用矩阵乘法来表示。在上面的神经网络中，我们将权重作为

发表于 03-03 22:10

【案例分享】ART神经网络与SOM神经网络

今天学习了两个神经网络，分别是自适应谐振（ART）神经网络与自组织映射（SOM）神经网络。整体感觉不是很难，只不过一些最基础的概念容易

发表于 07-21 04:30

卷积神经网络的层级结构和常用框架

　　卷积神经网络的层级结构　　卷积神经网络的常用框架

发表于 12-29 06:16

卷积神经网络模型发展及应用

卷积神经网络模型发展及应用转载****地址：http://fcst.ceaj.org/CN/abstract/abstract2521.shtml深度学习是机器学习和人工智能研究的最新趋势，作为一个

发表于 08-02 10:39

卷积神经网络简介：什么是机器学习？

列文章将只关注卷积神经网络 （CNN）。CNN的主要应用领域是输入数据中包含的对象的模式识别和分类。CNN是一种用于深度学习的人工神经网络。此类网络

发表于 02-23 20:11

模糊神经网络的优缺点分析

模糊神经网络是将人工神经网络与模糊逻辑系统相结合的一种具有强大的自学习和自整定功能的网络，是智能控制理论研究领域中

发表于 12-29 15:35 •2.7w次阅读

神经网络理论到实践(2)：理解并实现反向传播及验证神经网络是否正确

专栏中《零神经网络实战》系列持续更新介绍神经元怎么工作，最后使用python从0到1不调用任何依赖神经网络框架（不使用tensorflow等框架

发表于 12-10 19:27 •798次阅读

用Python从头实现一个神经网络来理解神经网络的原理1

有个事情可能会让初学者惊讶：神经网络模型并不复杂！『神经网络』这个词让人觉得很高大上，但实际上神经网络算法要比人们想象的简单。这篇文章完全是为新手准备的。我们会通过用Pytho

发表于 02-27 15:05 •687次阅读

用Python从头实现一个神经网络来理解神经网络的原理2

有个事情可能会让初学者惊讶：神经网络模型并不复杂！『神经网络』这个词让人觉得很高大上，但实际上神经网络算法要比人们想象的简单。这篇文章完全是为新手准备的。我们会通过用Pytho

发表于 02-27 15:06 •617次阅读

用Python从头实现一个神经网络来理解神经网络的原理3

有个事情可能会让初学者惊讶：神经网络模型并不复杂！『神经网络』这个词让人觉得很高大上，但实际上神经网络算法要比人们想象的简单。这篇文章完全是为新手准备的。我们会通过用Pytho

发表于 02-27 15:06 •723次阅读

用Python从头实现一个神经网络来理解神经网络的原理4

有个事情可能会让初学者惊讶：神经网络模型并不复杂！『神经网络』这个词让人觉得很高大上，但实际上神经网络算法要比人们想象的简单。这篇文章完全是为新手准备的。我们会通过用Pytho

发表于 02-27 15:06 •680次阅读

递归神经网络和循环神经网络的模型结构

递归神经网络是一种旨在处理分层结构的神经网络，使其特别适合涉及树状或嵌套数据的任务。这些网络明确地模拟了层次结构中的关系和依赖关系，例如语言

发表于 07-10 17:21 •640次阅读