[发明专利]手语识别方法、装置、计算机可读存储介质和计算机设备

说明书

本申请涉及一种手语识别方法、装置、计算机可读存储介质和计算机设备，所述方法包括：获取待识别的手语视频；从所述手语视频中的各帧图像中提取手势特征；提取所述手语视频中各帧图像的手势变化特征；从所述手势特征与所述手势变化特征之间的融合特征中提取手语词信息；按照所述手语词信息对应的语境信息，将所述手语词信息组合成手语语句。本申请提供的方案可以有效地提高手语识别的准确性。

技术领域

本申请涉及计算机技术领域，特别是涉及一种手语识别方法、装置、计算机可读存储介质和计算机设备。

背景技术

对于听力障碍的人群，手语是一种常用的自然语言，通过手语的沟通方式可以向他人表述自己的想法。然而，对于普通人群而言，对手语的了解甚少，导致与听力障碍的人群之间的交流存在很大的困难。因此，手语识别技术的出现具有重要意义，可以很好的促进普通人群与听力障碍的人群之间的交流。

将一系列不做停顿的手语表达直接识别成文字，是一个具有挑战性的问题，传统的手语识别方案中，通过带有传感器的手环或手套来获取距离和肌肉活动等信息，通过这些信息来进行手语的识别。然而，采用上述的手语识别方案，手语识别的准确性较低。

发明内容

基于此，有必要针对手语识别的准确性较低的技术问题，提供一种手语识别方法、装置、计算机可读存储介质和计算机设备。

一种手语识别方法，包括：

获取待识别的手语视频；

从所述手语视频中的各帧图像中提取手势特征；

提取所述手语视频中各帧图像的手势变化特征；

从所述手势特征与所述手势变化特征之间的融合特征中提取手语词信息；

按照所述手语词信息对应的语境信息，将所述手语词信息组合成手语语句。

一种手语识别装置，所述装置包括：

视频获取模块，用于获取待识别的手语视频；

第一特征提取模块，用于从所述手语视频中的各帧图像中提取手势特征；

第二特征提取模块，用于提取所述手语视频中各帧图像的手势变化特征；

信息提取模块，用于从所述手势特征与所述手势变化特征之间的融合特征中提取手语词信息；

手语识别模块，用于按照所述手语词信息对应的语境信息，将所述手语词信息组合成手语语句。

一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述手语识别方法的步骤。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述手语识别方法的步骤。

上述手语识别方法、装置、计算机可读存储介质和计算机设备，在获取到手语视频时，提取手语视频各帧图像中的手势特征，而且提取手语视频中各帧图像的手势变化特征，从而可以得到手势信息和手势的细微变化信息，当利用手势特征和手势变化特征进行手语识别时，可以有效地提升手语识别的准确率。从手势特征与手势变化特征之间的融合特征中提取手语词信息，在确定所提取手语词信息的语境信息时，根据语境信息将所提取的手语词信息组合成手语语句，从而将词与词之间进行准确有效地组合，有利于提高手语识别的准确率。

附图说明

图1为一个实施例中手语识别方法的应用环境图；

图2为一个实施例中手语识别方法的流程示意图；

图3为一个实施例中手语识别页面的示意图；

图4为一个实施例中人脸特征点的示意图；