1
深度学习是多层神经网络运用各种学习算法解决图像、文本等相关问题的算法合集。卷积神经网络作为深度学习的重要算法,尤其擅长图像处理领域。卷积神经网络通过卷积核来提取图像的各种特征,通过权值共享和池化极大降低了网络需要训练的数量级。本文以MINST手写体数据库为训练样本,讨论卷积神经网络的权值反向传播机制和MATLAB的实现方法;对激活函数tanh和relu梯度消失问题进行分析和优化,对改进后的激活函数进行训练,得出最优的修正参数和学习速率。
卷积神经网络最早是由Yann Lecun 提出用于手写数字识别,近年来在语音识别,自然语言处理等方面,均取得重大突破。卷积神经网络在传统神经网络的基础上,最重要的改进是局部感知、权值共享,卷积神经网络中的卷积层有若干个特征地图(Feature Map)构成[2]。每个feature map由若干神经元组成,代表着提取出的图像特征,这些神经元通过同一个卷积核(权值)去卷积图像而获得,即这些同一个feature map共享同一组权值,权值共享机制大大减少了神经网络需要训练的参数量级,例如识别一个1000 × 1000的图像,假设隐藏层有1 M即106个神经元,那么传统神经网络采用全连接方式需要训练的参数个数为106 × 1000 × 1000,即1012 (2 G)个参数,显然这个计算数量级非常庞大。而采用卷积神经网络,假设同样设置隐藏层有1 M个神经元,每个神经元采用10 × 10大小卷积核去感知图像的固定区域,那么这种方式需要训练的参数为106 × 10 × 10,即108 (100 M)个参数,卷积神经网络局部连接的算法,一方面降低了需要训练的参数量级,另一方更符合人类神经对于图像的认知,即先感知局部,再到全局
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表德赢Vwin官网 网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
全部0条评论
快来发表一下你的评论吧 !