[发明专利]一种融合几何结构特征图的手语识别方法、系统、装置及存储介质

说明书

本发明公开了一种融合几何结构特征图的手语识别方法、系统、装置及存储介质，属于手语识别技术领域；包括：获取手语视频，将其帧数和像素大小统一调整；将统一调整后的手语视频输入预建立的预先进行过训练的三维卷积神经网络，提取手语特征；将手语特征输入预建立的预先进行过训练的深度卷积生成对抗网络，生成手语特征图；将手语特征图的像素大小统一调整，根据手语特征图G通道和B通道的手部轨迹信息进行预分类，得到预分类类别；将统一调整后的手语特征图输入预建立的VGG16网络，输出特征向量，特征向量中值最高的元素在预分类类别对应的手语词汇库中对应的手语词汇为识别结果；提高手语识别的准确度和整体分类识别效率。

技术领域

本发明涉及一种融合几何结构特征图的手语识别方法、系统、装置及存储介质，属于手语识别技术领域。

背景技术

手语是聋哑人主要的交际工具，是聋哑人与社会沟通的桥梁；手语是一种结构化非常明显的语言，手语识别主要通过手的形状、手的位置和手的移动轨迹去实现；手语识别按使用传感器不同分为非视觉和视觉，前者采用的是穿戴式设备，虽然能够采集到更准确的数据但是价格昂贵且对使用者来说不便于生活，而后者是通过摄像头捕获数据，这种方法成本较低而且不会对使用者造成身体上的负担。

手部的形状和位置信息可以通过骨骼数据表现，因此很多研究会将骨骼识别作为手语识别的一个步骤；PVV Kishore等人在2018年的研究中搭建了由9个摄像头组成的骨骼数据捕获系统，虽然最终可以达到不错的手语识别准确度，但是系统太过庞大不适合实际应用；Qinkun Xiao等人在2019年的研究中将Kinect传感器捕获的骨骼数据作为手语识别的一组特征与其他特征进行融合取得了不错的准确率，但是骨骼数据中包含了一些不必要的关键点。

基于视觉的手语识别在采集图像数据时，通常难以避免会将人身后的复杂背景一起采集，因此会面临背景噪声影响识别精度的问题；Muneer Al-Hammadi等人在2020年的研究中，根据人脸和身体的比例关系，将图像四周不包括人身体部位的部分通过矩形裁剪的方式剔除，但是在剩下的图像中人体后面的背景依然存在；Saleh Aly等人在2020年的研究中使用语义分割模型将手部图像从含有复杂背景的图像中提取了出来，但是他们没有把手部的移动轨迹和手指间的位置关系单独提取出来用于识别，没有提取至关重要的特征用于识别，手语识别结果的准确度较低。

卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一；Du Jiang等人在2019年的研究中使用了2D卷积神经网络对骨骼数据进行特征提取从而实现手势识别，他们充分利用了骨骼数据但是没有把视频序列考虑在内，Zhijie Liang等人在2018年的研究中使用了3D卷积神经网络去提取手语视频的时空特征，但遗憾的是他们没有把手部的形状、位置和移动轨迹统一起来进行处理，整体分类和识别效率较低。

发明内容

本发明的目的在于提供一种融合几何结构特征图的手语识别方法、系统、装置及存储介质，提高手语识别的准确度，大大提高整体分类和识别效率。

为实现以上目的，本发明是采用下述技术方案实现的：

第一方面，本发明提供了一种融合几何结构特征图的手语识别方法，包括：

获取手语视频，将其帧数和像素大小统一调整；

将统一调整后的手语视频输入预建立的三维卷积神经网络，提取手语特征，所述三维卷积神经网络预先进行过训练；

将手语特征输入预建立的深度卷积生成对抗网络，生成手语特征图，所述深度卷积生成对抗网络预先进行过训练；

将手语特征图的像素大小统一调整，根据手语特征图的G通道和B通道的手部轨迹信息进行预分类，得到预分类类别；

将统一调整后的手语特征图输入预建立的VGG16网络，输出特征向量，特征向量中值最高的元素在预分类类别对应的手语词汇库中对应的手语词汇为识别结果。