[发明专利]一种基于Hu矩的手语视频帧序列分类方法

说明书

本发明公开一种基于Hu矩的手语视频帧序列分类方法，包括以下步骤：步骤1：获取待识别的手语视频；步骤2：对该手语视频进行帧采样，获得帧序列；步骤3：将彩色图像的帧序列转换为二值图像的帧序列；步骤4：将手部与背景分割；步骤5：提取分割后的手部图像的Hu矩得到手部图像的特征向量；步骤6：计算每一帧与前一帧的特征向量之间的欧式距离，判决，贴数字标签，进行初步分类。步骤7：根据标签进行帧序列进一步分类，去除过渡动作帧，顺序输出分类后的标签序列。本发明计算复杂度较低，且对于手语图像的旋转、缩放和平移具有很好的鲁棒性，可直接应用于手语视频识别系统。

技术领域

本发明涉及计算机视觉的视频处理领域，特别是涉及一种基于Hu矩的手语视频帧序列分类方法

背景技术

随着计算机对现代社会的影响日益扩大，人机交互正成为人们日常生活中越来越重要的一部分。如今的人机交互方式大多数是通过键盘和鼠标等比较单一的输入工具，使用人体语言的输入方式与它们相比则要快捷方便的多。手语识别作为智能人机交互领域中的一个重要组成部分，其目的是通过计算机提供一种有效且准确的机制，将手语翻译成文本或语音。这一技术不仅使聋人和听力正常人之间的交流变得更加方便，而且在人机互动领域也有积极的意义和应用价值。

传统的手语识别包括基于数据手套的手语识别和基于视觉的手语识别。其中，基于数据手套的手语识别，用户需要佩戴数据手套，计算机通过数据手套获取人手部的运动信息并实时的处理，并将结果实时显示出来从而实现人机交互。而基于视觉的手语识别则通过数字摄像设备获取人的手部图像，对获取的图像进一步的处理，进而识别出相应的手语信息。总的来说，基于数据手套的方法的优点是输入数据少和识别度高，但是数据手套设备昂贵及佩带厚重，不利于自然的人机交互。而基于计算机视觉的方法则可以实现更为自然的人机交互，同时价格较低、投入成本小，但是该方法主要存在着如下两大问题：

(1)在单目视觉的情况下复杂背景下的手势分割是非常困难的，由于背景各种各样，环境因素不可预测，不仅没有成熟的理论作为指导，而且现有的方法实现困难，计算复杂度高，效果也不是很理想。目前常见的解决方法是增加限制，如使用黑色或白色的墙壁、深色的服装等简化背景，或要求人手戴特殊颜色的手套等强调前景，来简化手区域与背景区域的划分。

(2)在手语的进行过程中，手作为非刚性物体在手语实现过程中会无规律的发生形变，因此，动态手语视频的识别中一个关键问题就就是如何进行视频帧序列的分类，识别出该动态手语序列的语义。常规的跟踪算法在跟踪记录手的运动轨迹中将极容易丢失跟踪目标，而又难以重新找回。

几何矩是由Hu(Visual pattern recognition by moment invariants)在1962年提出的，具有平移、旋转和尺度不变性。Hu利用二阶和三阶中心矩构造了七个不变矩M1～M7，它们在连续图形条件下可保持平移、缩放和旋转不变，其相关定义也被本发明采用。实际上，在对图片中物体的识别过程中，只有M1和M2不变性保持的比较好，其他的几个不变矩带来的误差比较大。

发明内容

鉴于以上内容，有必要提供一种能够提高手语视频的正确识别率，具有较好的鲁棒性，有效改善手语视频识别效果的手语视频帧序列的分类方法。

为实现上述目的，本发明提供一种基于Hu矩的手语视频帧序列分类方法，包括以下步骤：

步骤1：获取待识别的彩色手语视频；

步骤2：对该彩色手语视频进行帧采样，获得帧序列；

步骤3：将彩色图像的帧序列转换为二值图像的帧序列；

步骤4：将手部与背景分割；

步骤5：提取分割后的手部图像序列的Hu矩中的M1和M2矩得到手部图像的特征向量；

进一步地，不变矩M1和M2定义如下：