[发明专利]基于体感设备的聋哑人手语机器翻译方法

说明书

技术领域

本发明涉及视频图像处理技术领域，特别是涉及基于体感设备的聋哑人手语机器翻译方法。

背景技术

聋哑人使用的手语，属于肢体语言的范畴，与健全人的口语一样具有丰富的表意功能，是一种进行信息交流、传递思想最自然的方法，在聋哑学校教学和聋哑人交流方面起着非常重要的作用。手语是由手的形状、手腕和手臂的运动、与之对应的人脸表情、嘴唇读音形状以及其他身体姿态相结合的人体语言。

目前手语识别研究包括：基于佩戴式设备的手语识别。基于数据手套(即佩戴式设备)的手语识别方法需由手语使用者佩戴位置跟踪器、数据手套等传感设备，利用多点传感器和位置跟踪器反馈的手指关节运动信息、手相对身体的位置等数据进行分析研究。由于佩戴式位置跟踪器与数据手套的价格较高，并且穿戴方式复杂，所以很难推广到实际应用中。

发明内容

本发明实施例提供了基于体感设备的聋哑人手语机器翻译方法，可以解决现有技术中存在的问题。

基于体感设备的聋哑人手语机器翻译方法，该方法包括：

步骤S1，采集包括深度视频和彩色视频在内的手语视频；

步骤S2，采用DI_CamShift算法对深度视频进行处理，以对彩色视频中的手语手势图像进行检测和追踪；

步骤S3，对追踪获得的手语手势图像进行分割，将手语手势图像中的手语手势和背景分割开；

步骤S4，提取手语手势的完备特征集，对完备特征集量化生成手语视觉单词，最终采用BoW方法构建手语手势的视觉单词词包；

步骤S5，将所述手语视觉单词词包中的一部分单词作为训练样本，应用基于H_Kernel的混合核函数SVM对训练样本的融合特征进行学习，对另一部分手语视觉单词进行识别并输出翻译结果。

本发明实施例中的基于体感设备的聋哑人手语机器翻译方法，采用Microsoft Kinect for Xbox 360获取手语手势的3D深度影像信息，通过对视频信息的分析，实现手语手势的检测、跟踪、分割、提取手势中能够区别于其他手势的特征进行手势建模，采用机器学习的方选取一定数量的手语手势样本对分类器进行训练后，用分类器去进行未知手语手势的识别并以自然语言的方式输出识别结果，最终实现聋哑人手语到自然语言的自动翻译，使用成本低，且翻译快速准确。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了基于体感设备的聋哑人手语机器翻译方法，该方法包括：

步骤100，使用Microsoft Kinect for Xbox 360采集手语视频，采集的手语视频包括深度视频和彩色视频，深度视频和彩色视频可以分别逐帧采集得到深度图像和彩色图像；

步骤110，采用DI_CamShift算法对深度视频进行处理，以对彩色视频中的手语手势图像进行检测和追踪；该步骤具体包括：

子步骤111，将整个深度视频作为搜索区域，采用帧差法检测深度图像中的手语手势图像，对追踪窗口进行初始化，定位其尺寸和位置；

子步骤112，对追踪窗口内的区域，即手语手势图像，计算其深度直方图的概率分布；

子步骤113，分别计算手语手势图像的长轴和短轴的方向θ₁、θ₂，具体方法为：

定义深度图像I(x,y)的(p+q)阶二维原点矩M_pq为：

M_pq＝∑_x∑_yx^py^qD(x,y)p,q＝0,1,2,... (1)

定义I(x,y)的(p+q)阶中心距μ_pq为：

其中，为为D(x,y)为深度图像I(x,y)在(x,y)处的深度值。

根据下式计算手语手势主轴的方向：

采用公式(2)，根据最大二阶中心距和最小二阶中心距分别确定长轴和短轴的方向。

子步骤114，使用MeanShift算法计算追踪窗口内手语手势图像的质心位置，根据质心位置和长轴、短轴方向θ₁、θ₂调整追踪窗口的尺寸；