[发明专利]基于贝叶斯正则化的深度学习网络图像识别方法

说明书

技术领域

本发明利用基于贝叶斯正则化(Bayesian Regularization)的深度学习网络(Deep BeliefNetwork，DBN)实现手写体数字图像的识别和分类。神经网络是人工智能和神经计算领域的重要方法，图像检测和识别是机器学习领域的重要任务之一，因此本发明属于人工智能和机器学习领域。

背景技术

数字识别技术在很多行业中占有一席之地，例如教育，交通运输，商业，邮政和银行等。数字的自动识别的实现和应用为人们的生活提供了重要的便利，与人们的生活息息相关，被广泛应用于车辆和道路的号码检测，个人成绩单的自动识别等。与印刷体的数字识别相比，手写体的数字识别由于其复杂性，多样性和不确定性，一直是该领域的重点和难点。手写体数据库数量不多但样本复杂，因此成为检验新技术和新方法的重要工具。

深度神经网络(DBN)能够以一种较好的方式模拟人类大脑的工作模式对数据进行分类和识别，且成功避免维数灾难问题，已成功应用于多种模式分类问题，其在信号处理中的应用对象不仅包含语音、图像和视频，同样也包含文本、语言和传递人类可获知的语义信息。但在手写体数字识别任务中，深度神经网络的过拟合现象影响正确识别率，网络的识别能力有待提高。针对这个问题，国内外学者提出许多改进方案，例如快速平稳的CD准则通过引入辅助变量来改进训练过程中的混合速率，稀疏性受限玻尔兹曼机通过在最大自然函数中引入惩罚项来减小次要神经元的作用。越来越多的工作表明，网络参数的正确设置与否，会在很大程度上影响结果。

过拟合是神经网络训练过程中的常见问题之一，为了提高网络泛化能力，传统的方式有简化网络结构和提前停止训练等方法，这些方法在不同程度上发挥作用，但不易于推广。贝叶斯正则化方法通过在训练中减小网络权值，有效抑制不重要的神经元发挥作用，从而达到抑制过拟合现象的 目的。为了解决DBN网络在应用于手写体数字识别任务中的过拟合现象，本发明设计了一种基于贝叶斯正则化的DBN网络，通过引入贝叶斯正则化项，有效调节训练过程中的误差减小和权值增加之间的平衡，设置合适的性能参数α和β，提高识别正确率，实现对数字图像的识别。

发明内容

本发明的目的在于通过提出一种基于贝叶斯正则化的深度神经网络学习方法，改进DBN网络训练目标函数，通过分析连接权值的变化趋势，调节训练过程中训练误差减小与权值增大之间的平衡，保证网络中稀疏连接发挥作用，抑制过拟合现象的发生，提高网络泛化能力，增加对数字图像的识别准确度。

本发明采用了如下的技术方案及实现步骤：

基于贝叶斯正则化的深度神经网络学习方法，包括以下步骤：

(1确定输入对象及网络结构。采用含有两个隐含层的DBN网络，以数字图像作为网络输入，输入层神经元数量为一张图像含有的像素点数，设置隐含层神经元数，为保证训练精度，一般大于100，但如果太大则会造成过拟合，输出层为类别数量。

(2基于贝叶斯正则化的无监督训练步骤。根据已知的DBN运算准则，首先初始化网络权值及阈值为[0，1]区间的随机值，当信号从可视层传入隐含层，公式(1)为由已知的可视层节点得到的隐含层节点的值：

第二，将信号从隐含层反传回可视层。由于RBM是对称网络，因此可以得到由隐含层节点得到可视层节点的值，见公式(2)：

式(1)为由已知的可视层节点得到的隐含层节点的值，(2)为由隐含层节点得到可视层节点的值中。v_i和c_i分别对应每一个RBM网络中可视层第i个节点的取值和阈值，h_j和b_j分别对应网络中隐含层第j个节点的取值和阈值， w_ij为可视节点i和隐藏节点j之间的权值，表示两个神经元之间连接信号的强弱，上述值在训练之前需初始化，均取[0，1]之间的随机值，p(h_j＝1)表示隐含层节点h_j取值为1的概率，p(v_i＝1)表示可视层节点v_i取值为1的概率。

公式(3)为可视层的特征向量v和隐含层的特征向量h的联合概率分布，在训练过程中计算其极小值，为改进算法之前的目标函数：