[发明专利]一种基于达芬奇技术的手语识别翻译方法

说明书

技术领域

本发明涉及图像处理、模式识别领域，更具体地，涉及一种基于达芬奇技术的手语识别翻译方法。

背景技术

在日常生活中，打手势、做手语是一种重要的交流方式。对于聋哑人们来说，手语更是必不可少。然而多数人对手语并不够了解，所以为了让人们能够看懂手语，手语识别的研究也随之展开。最开始出现的手语翻译系统是基于数据手套的，识别效果比较可观，但造价昂贵，也不利于携带。人们便逐渐聚焦在基于视觉的手语翻译系统的研究中，但却也面临着系统识别率低、实时性差额、不便于携带和系统成本较高等问题，对手语翻译系统的普及造成很大的困难。

发明内容

本发明克服上述现有技术所述的系统识别率低、实时性差额、不便于携带和系统成本较高的缺陷，提供一种识别率高、实时性强的基于达芬奇技术的手语识别翻译方法。

为解决上述技术问题，本发明的技术方案如下：

一种基于达芬奇技术的手语识别翻译方法，所述方法包括以下步骤：

S1：采集手语者的动作视频，对视频流建立背景，当前帧与背景作差得到前景图像；

S2：在前景图像中提取肤色块；

S3：计算提取到的肤色块的深度信息，并根据肤色块的深度信息对脸部区域进行定位；

S4：根据肤色块的深度信息对手部进行定位并提取关键帧，并对关键帧的手部区域肤色块进行修补填充，所述关键帧为手部在一个区域内停留达到预设帧数的帧；

S5：提取关键帧的一种或多种手型特征；

S6：根据提取的手型特征，使用单个分类器进行分类或者使用多个分类器进行投票表决，得到静态手势识别结果；

S7：对手势的运动轨迹进行识别，得到轨迹识别结果；

S8：对静态手势识别结果和轨迹识别结果进行纠错与拼接，得到手语的识别翻译结果。

在一种优选的方案中，所述方法还包括：步骤S1中，使用2个摄像头同时采集手语者的动作视频，首先调整摄像头使2个摄像头水平，然后分别对2个摄像头采集的视频流建立背景，选取某一帧图像作为初始的背景，当前帧与背景作差得到前景图像，使用均值漂移的方法对背景进行更新。

在一种优选的方案中，所述方法还包括：步骤S2中，使用高斯肤色模型在前景图像中提取肤色块。

在一种优选的方案中，所述方法还包括：步骤S3中，2个摄像头采集到的肤色块的重心点相互对应，计算这些相互对应的重心点之间的欧氏距离，即可得到这些肤色块的深度信息；

相对应的肤色块的重心点距离越大，则该肤色块离摄像头越近，在准备阶段，脸部和手部与摄像头的距离一样，而使用者背后的肤色物体的深度信息明显与脸部区域的不同，再根据双手和脸部区域的相对位置，即可对脸部区域进行定位。

在一种优选的方案中，所述方法还包括：步骤S4中，在做手语手势时，离摄像头最近的运动肤色块为手部，而远的运动肤色块为脸部或其他运动的肤色物体，根据这一特性对手部进行定位，然后提取关键帧，并利用感知器算法对手部肤色块进行修补填充，所述关键帧为手部在一个区域内停留达到预设帧数的帧。

在一种优选的方案中，所述方法还包括：步骤S5中，提取关键帧的归一化傅里叶描述子、手型骨架和指尖数目的特征，具体方法为：

首先提取手型骨架特征：将手势图像用最小的矩形包围住，把该矩形四等分，计算出各块图像的重心点，将四个重心点连接成一个四边形，计算出该四边形的各边长、对角线长、矩形度、角度共同作为手型骨架的特征；

然后提取归一化傅里叶描述子特征；

最后提取指尖数目特征，计算手势轮廓的曲率，若某段轮廓的曲率大于预设的阈值则该段为指尖，判断出该手势伸出了多少根手指，即为指尖数目特征。

在一种优选的方案中，步骤S6中，投票表决的方法如下：

先对每个分类器所能投的票数进行初始化；统计各个先前训练好的分类器的识别结果，采用奖惩方式调整各分类器所能投出的票数；根据各分类器所能投的票数，按手势特征与分类器各类的相似程度进行分散投票，最相似者票数最多，票数最多的一类作为为识别结果。

在一种优选的方案中，步骤S7中，采用分层的轨迹识别方法对手势的运动轨迹进行识别，其具体方法包括以下步骤：

(1)先进行第一层的轨迹识别，以两个关键帧之间的轨迹点坐标，使用Freeman链码对这些轨迹点进行编码，使其连成一个链码序列用于短轨迹的识别；