[发明专利]一种基于权值不确定性玻尔兹曼机的识别方法及系统

说明书

本发明一种基于权值不确定性玻尔兹曼机的识别方法及系统，通过构建带有标签的Cifar‑10数据集图片作为样本集对卷积深度置信网进行训练，将训练好的神经网络保存，将待识别图片作为输入，根据输出向量得到识别结果。通过卷积深度置信网识别手写数字图像，避免了人工的特征提取过程，直接将图片作为网络的输入，识别准确率高；且网络一经训练即可反复使用，处理效率高；训练时间短。

技术领域

本发明涉及模式识别和机器学习领域，具体涉及一种基于权值不确定性玻尔 兹曼机的识别方法及系统。

背景技术

在概率图中，节点表示变量，边表示变量之间的依赖关系。按节点的连接方 式，概率图可以分为有向图(Belief Nets)和无向图(Markov Nets)两类，有向 图可以清晰的表示节点间的条件概率，适合知识的推理。随着深度学习的兴起， 深度置信网(Deep BeliefNets，DBNs)是最早提出的基于有向图的混合图模型。 然而，解释消除(explain-away)现象很大程度上影响了有向图模型的解释能力。 与有向图不同，马尔可夫网的概率分布是通过“势”(potential)定义的，此时节 点之间的连接是无向的，因此不存在解释消除问题。在物理学背景中，马尔可夫 网又叫做马尔可夫随机场(Markov Random Fields，MRFs)，节点之间通过势φ(v) 相互关联，其中v是无向图的最大子图包含的节点。由此，MRFs的概率分布可 以表达为：P_(s)＝Z^-1Π_iwiφ_i(v_i)，其中，Z为归一化因子，用来确保概率分布函数的 取值在0到1之间，势φ(v)可以有多种表达方式。为了方便表述和计算，MRFs 的概率分布可以表达成指数族的形式：其中，f(v_i)＝log(φ(v_i))。由 因子f(v_i)的不同表示形式和组合方式可以得到不同的无向图模型。在玻尔兹曼机 模型中，f通过能量函数的形式表达。早期，与玻尔兹曼机相关的模型包括伊辛 模型，指数族(Exponential FamilyHarmoniums,EFH)等。玻尔兹曼机是一种特 殊的MRFs，其概率通常可以表示为：其中，E(s)称为能量函数， E(s)与MRFs中势的概念相对应。从玻尔兹曼机节点的连接方式看，玻尔兹曼机 可以进一步分为指数族RBM(Exp-RBMs)、半受限的玻尔兹曼机(SRBMs)以 及全连接的玻尔兹曼机，在Exp-RBMs模型中，最常使用的是普通的RBM。以 RBM为基础，深度玻尔兹曼机(Deep Boltzmann Machines，DBMs)和深度置信 网(Deep BeliefNets，DBNs)等多层网络的提出促进了深度神经网络的发展。 其中，DBNs是一种混合的概率图模型，其顶部的两层是无向的关联记忆，其余 层之间的权值为自上而下的生成连接；DBMs是一种无向图模型，其结构可以看 作是层次化的玻尔兹曼机，每一个节点的激活取决于相邻层中与它直接相连的所 有节点。整个模型通过一个能量函数表达，DBMs是一种全连接的玻尔兹曼机。 另一种成功的DNNs模型是卷积神经网络(Convolutional Neural Nets，CNNs)， 不同于预训练的机制，CNNs从网络拓扑结构上优化DNNs，利用卷积和池化操 作，将局部性信息和不变性信息引入到神经网络中，利用先验信息减少网络参数， 进一步降低了计算复杂度。CNNs在自然图像处理、音频、视频等方面取得了很 多研究成果。

发明内容

为了更好的解决图像的识别问题，本发明提出一种基于权值不确定性玻尔兹 曼机的识别方法及系统，避免了显式的提取特征，直接将数字化的图像像素作为 输入，训练得到卷积深度置信网(CDBNs)模型，选取神经网络最后一层的输 出最为识别结果，有效的实现了图像的识别和重构过程。

本发明是通过以下方案实现的：

本发明涉及一种基于深度学习的图像识别方法，通过构建带标签的训练集作 为样本集对卷积深度置信网进行训练，并将训练好的卷积神经网络处理待识别的 图片，最后根据神经网络的输出向量判断识别结果。