[发明专利]一种基于达芬奇技术的手语识别翻译方法

权利要求书

1.一种基于达芬奇技术的手语识别翻译方法，其特征在于，所述方法包括以下步骤：

S1：采集手语者的动作视频，对视频流建立背景，当前帧与背景作差得到前景图像；

S2：在前景图像中提取肤色块；

S3：计算提取到的肤色块的深度信息，并根据肤色块的深度信息对脸部区域进行定位；

S4：根据肤色块的深度信息对手部进行定位并提取关键帧，并对关键帧的手部区域肤色块进行修补填充，所述关键帧为手部在一个区域内停留达到预设帧数的帧；

S5：提取关键帧的一种或多种手型特征；

S6：根据提取的手型特征，使用单个分类器进行分类或者使用多个分类器进行投票表决，得到静态手势识别结果；

S7：对手势的运动轨迹进行识别，得到轨迹识别结果；

S8：对静态手势识别结果和轨迹识别结果进行纠错与拼接，得到手语的识别翻译结果。

2.根据权利要求1所述的基于达芬奇技术的手语识别翻译方法，其特征在于，所述方法还包括：步骤S1中，使用2个摄像头同时采集手语者的动作视频，首先调整摄像头使2个摄像头水平，然后分别对2个摄像头采集的视频流建立背景，选取某一帧图像作为初始的背景，当前帧与背景作差得到前景图像，使用均值漂移的方法对背景进行更新。

3.根据权利要求1所述的基于达芬奇技术的手语识别翻译方法，其特征在于，所述方法还包括：步骤S2中，使用高斯肤色模型在前景图像中提取肤色块。

4.根据权利要求2所述的基于达芬奇技术的手语识别翻译方法，其特征在于，所述方法还包括：步骤S3中，2个摄像头采集到的肤色块的重心点相互对应，计算这些相互对应的重心点之间的欧氏距离，即可得到这些肤色块的深度信息；

相对应的肤色块的重心点距离越大，则该肤色块离摄像头越近，在准备阶段，脸部和手部与摄像头的距离一样，而使用者背后的肤色物体的深度信息明显与脸部区域的不同，再根据双手和脸部区域的相对位置，即可对脸部区域进行定位。

5.根据权利要求1所述的基于达芬奇技术的手语识别翻译方法，其特征在于，所述方法还包括：步骤S4中，在做手语手势时，离摄像头最近的运动肤色块为手部，而远的运动肤色块为脸部或其他运动的肤色物体，根据这一特性对手部进行定位，然后提取关键帧，并使用感知器算法对手部区域肤色块进行修补填充，所述关键帧为手部在一个区域内停留达到预设帧数的帧。

6.根据权利要求1所述的基于达芬奇技术的手语识别翻译方法，其特征在于，所述方法还包括：步骤S5中，提取关键帧的归一化傅里叶描述子、手型骨架和指尖数目的特征，具体方法为：

首先提取手型骨架特征：将手势图像用最小的矩形包围住，把该矩形四等分，计算出各块图像的重心点，将四个重心点连接成一个四边形，计算出该四边形的各边长、对角线长、矩形度、角度共同作为手型骨架的特征；

然后提取归一化傅里叶描述子特征；

最后提取指尖数目特征，计算手势轮廓的曲率，若某段轮廓的曲率大于预设的阈值则该段为指尖，判断出该手势伸出了多少根手指，即为指尖数目特征。

7.根据权利要求1所述的基于达芬奇技术的手语识别翻译方法，其特征在于，步骤S6中，投票表决的方法如下：

先对每个分类器所能投的票数进行初始化；统计各个先前训练好的分类器的识别结果，采用奖惩方式调整各分类器所能投出的票数；根据各分类器所能投的票数，按手势特征与分类器各类的相似程度进行分散投票，最相似者票数最多，票数最多的一类作为为识别结果。