[发明专利]基于深度置信网络和多模式特征的手语识别方法

说明书

本发明提供一种基于深度置信网络(Deep Belief Network,DBN)和多模式特征的手语识别方法，涉及图像处理技术和机器学习领域。该方法包括：输入手语图像或视频，对手语图像进行预处理，提取方向梯度直方图(Histogram of Oriented Gradient,HOG)、局部二值模式(Local Binary Patterns,LBP)和Zernike矩等特征作为特征参数，利用深度置信网络进行训练和识别。本发明能实时识别图像中的手语信息，具有较高的识别准确率。

技术领域

本发明涉及一种基于深度置信网络(DeepBeliefNetwork，DBN)和多模式特征的手语识别方法，属于图像处理技术和机器学习领域。

技术背景

手语指以约定俗成的手势变化(或辅以表情)模拟形象或者音节以构成的一定意义的词语，它是听力障碍、无法言语的人(即聋哑人)互相交际和交流思想的一种手段，是“有声语言的重要辅助工具”，而对于听力障碍的人来说，它则是主要的交流工具。

手语识别的目的是通过计算机提供一种有效且准确的机制，将手语翻译成文本或语音使得聋人和听力正常人之间的交流变得更加方便、快捷。我国目前有两千多万聋人，对手语识别的研究，无疑将直接造福于这个群体，为其提供一种更加自然、更加方便快捷地与健听人交流的途径，以便他们更好地融入社会，这也必将对构建多元关爱的和谐社会产生积极影响。

对于经典的模式识别方法，主要步骤可以分为预处理、特征提取、特征选择(降维或融合等)、训练分类器(或分类)等。通常来说，由于单个特征并不能全面的反映图像信息，因此对每个特征分别进行分类器处理后，得到的信息并不一定准确。因此，将来源不同的特征信息整合到一起，去除冗余得到的融合信息将利于后续的分析处理与识别。从统计结果来看，多融合特征方法进行图像分类比单个特征效果好。

深度学习提出了一种让计算机自动学习模式特征的方法，并将特征学习融入到了建立模型的过程中，从而减少了人为设计特征造成的不完备性。深度信念网络是深度学习里面的基本模型之一，也是机器学习的一个分支，通过生成模型学习联合概率密度分布，可以从统计的角度表示数据的分布情况，能够反映同类数据本身的相似度。

因此，基于深度置信网络的手语识别已经成为国内外研究的热点，其研究具有重要的理论意义和现实意义。

发明内容

本发明提供一种基于深度置信网络(Deep Belief Network，DBN)和多模式特征的手语识别方法，涉及图像处理技术和机器学习领域。该方法包括：输入手语图像或视频，对手语图像进行预处理，提取方向梯度直方图(Histogram of Oriented Gradient，HOG)、局部二值模式(Local Binary Patterns，LBP)和Zernike矩等特征作为特征参数，利用深度置信网络进行训练和识别。本发明能实时识别图像中的手语信息，具有较高的识别准确率。

本发明所要解决的技术问题是：对图像中的手语进行识别。所采用的技术方案是：

步骤1：建立手语图像样本库；该图像样本库包括通用样本库和自行采集的手语样本；

步骤2：对手语图像进行预处理；对图像样本进行预处理，将样本库中每一幅图像转换为灰度图像，以便于后续处理；采用基于灰度直方图的快速分割算法，从手语图像中分离手语区域；

步骤3：对图像中的手语区域多模式特征提取；提取手语区域的多种特征参数，合成能表达该手语的多模式特征信息。经过步骤2预处理之后，提取手语区域的特征参数，并对该特征参数进行串联处理；本发明所提取的特征参数包括：

方向梯度直方图特征，共81维；局部二值模式特征，共256维；Zernike矩特征，共15维；总计352维特征参数；