[发明专利]基于体感设备的聋哑人手语机器翻译方法

权利要求书

1.基于体感设备的聋哑人手语机器翻译方法，其特征在于，该方法包括：

步骤S1，采集包括深度视频和彩色视频在内的手语视频；

步骤S2，采用DI_CamShift算法对深度视频进行处理，以对彩色视频中的手语手势图像进行检测和追踪；

步骤S3，对追踪获得的手语手势图像进行分割，将手语手势图像中的手语手势和背景分割开；

步骤S4，提取手语手势的完备特征集，对完备特征集量化生成手语视觉单词，最终采用BoW方法构建手语手势的视觉单词词包；

步骤S5，将所述手语视觉单词词包中的一部分单词作为训练样本，应用基于H_Kernel的混合核函数SVM对训练样本的融合特征进行学习，对另一部分手语视觉单词进行识别并输出翻译结果。

2.如权利要求1所述的基于体感设备的聋哑人手语机器翻译方法，其特征在于，步骤S2具体包括：

子步骤S21，将整个深度视频作为搜索区域，采用帧差法检测深度图像中的手语手势图像，对追踪窗口进行初始化，定位其尺寸和位置；

子步骤S22，对追踪窗口内的区域，即手语手势图像，计算其深度直方图的概率分布；

子步骤S23，分别计算手语手势图像的长轴和短轴的方向θ₁、θ₂，具体方法为：

定义深度图像I(x,y)的(p+q)阶二维原点矩M_pq为：

M_pq＝∑_x∑_yx^py^qD(x,y)p,q＝0,1,2,...(1)

定义I(x,y)的(p+q)阶中心距μ_pq为：

μpq=ΣxΣy(x-x‾)p(y-y‾)qD(x,y)---(2)]]>

其中，为为D(x,y)为深度图像I(x,y)在(x,y)处的深度值；

根据下式计算手语手势主轴的方向：

θ=12tan-12μ11μ20-μ02---(3)]]>

采用公式(2)，根据最大二阶中心距和最小二阶中心距分别确定长轴和短轴的方向；

子步骤S24，使用MeanShift算法计算追踪窗口内手语手势图像的质心位置，根据质心位置和长轴、短轴方向θ₁、θ₂调整追踪窗口的尺寸；

子步骤S25，对于下一帧的深度图像，使用调整尺寸和质心后的追踪窗口，返回子步骤S22继续运行；

子步骤S26，如果检测到多个手语手势图像，则分别计算各个手语手势图像的零阶距，选择具有最小零阶距值的手语手势图像作为真实手语手势；

子步骤S27，在确定深度视频中的追踪窗口后，同步将该追踪窗口绘制到彩色视频中的对应位置处，以实现对彩色视频中手语手势的追踪。