[发明专利]一种手语识别方法

说明书

本发明公开了一种手语识别方法，包括：对手语视频所对应的视频序列进行频域变换，得到图像的相位信息；将相位信息和视频序列送入C3D卷积神经网络进行一次卷积并融合，形成特征信息；将所述特征信息送入深度卷积神经网络进行二次卷积和池化，并在池化过程中执行自适应学习池化算法，筛选出目标特征向量，送入全连接层输出分类结果。本发明将频域变换结合到深度学习算法中，利用频域变换提取出手语视频中的相位信息，辅助RGB空间信息，送入深度学习网络生成手语的特征，由此获得的特征更为本质、准确。通过在3D卷积神经网络模型的池化层加入自适应学习池化算法，可以挖掘到手语视频中更为抽象、高级的视频特征，得到更为精确的分类结果。

技术领域

本发明属于视频识别技术领域，具体地说，是涉及一种用于手语语义识别的方法。

背景技术

在当今计算机技术快速发展的时代，人机交互技术受到了广泛的重视，并取得了一定的研究成果，这项技术主要包括人类表情识别、动作识别和手语识别等。手语是聋哑人与健听人之间的一种主要交流方式，但是对于健听人而言，他们并没有真正的接受过手语培训，除了对一些简单的手势表达有基本的常识之外，并不能从根本上理解聋哑人的真实想法，这使得聋哑人与健听人之间的交流面临困难。与此同时，手语识别也可以辅助应用于残障人群的教育教学中，以保障残障人群的正常生活和学习。

传统的手语识别方法需要聋哑人配戴带有多个传感器的数据手套，根据数据手套采集聋哑人的肢体行为轨迹，根据轨迹信息生成可理解的语义。目前，大多基于最原始的3D卷积神经网络模型设计的行为识别方法对于小数据集下的手语识别准确率低，计算量大，容易产生过拟合的现象，普适性不高。

申请号为CN107506712A的中国发明专利申请，公开了一种基于3D深度卷积网络的人类行为识别方法，改进了标准的3维卷积网络C3D，引入多级池化能够对任意分辨率和时长的视频片段进行特征提取，从而得到最终的分类结果。但是，该方法所使用的C3D卷积网络结构比较浅，对于大范围的数据集识别精度低，很难提取最优的特征信息。

申请号为CN107679491A的中国发明专利申请，公开了一种融合多模态数据的3D卷积神经网络手语识别方法，通过对手势红外图像和轮廓图像从空间维度和时间维度进行特征提取，融合两个基于不同数据格式的网络输出进行最终的手语分类。但是，整个网络输入需要利用体感设备额外提取红外图像和轮廓图像，对输入的数据处理起来比较复杂，对于一些波动幅度比较大的细节行为识别效果不好。

申请号为CN104281853A的中国发明专利申请，公开了一种基于3D卷积神经网络的行为识别方法，结合光流信息作为多通道数据输入送入网络分别进行特征提取，最后通过全连接层进行最终的行为分类，并将整个阶段分为离线训练和在线识别阶段。该方法可以实现在线识别，但对数据集的要求过高，而且需要用到光流信息，计算比较复杂，识别效率也不是很高。

发明内容

本发明的目的在于提供一种手语识别方法，旨在解决现有手语识别方法所存在的特性信息提取不优、识别准确率不高的问题。

为解决上述技术问题，本发明采用以下技术方案予以实现：

一种手语识别方法，包括以下过程：

根据手语视频形成视频序列X；

对所述视频序列X进行基于频域变换的图像处理，提取出相位信息；

将所述相位信息和视频序列X分别送入C3D卷积神经网络进行一次卷积，并对卷积后得到的特征进行加权融合，形成融合后的特征信息；

将所述融合后的特征信息送入3D ResNets深度卷积神经网络进行二次卷积和池化，并在池化过程中执行自适应学习池化算法，筛选出目标特征向量，送入3D ResNets深度卷积神经网络的全连接层，输出分类结果。