[发明专利]一种基于双神经网络的手语识别方法及装置

说明书

本发明公开了一种基于双神经网络的手语识别方法及装置，该方法的步骤包括步骤1、采集手势图像；步骤2、设计Squeeze Net神经网络和双输入双向长短时记忆循环神经网络；Squeeze Net神经网络的每个Fire模块均包括squeeze压缩层和扩展层，squeeze压缩层的卷积核为1×1；扩展层包括一个1×1的卷积核和两个1×3和3×1的非对称卷积核，三个卷积核分别经过RELU层和BN层后再按照通道数进行拼接得到Fire模块的输出；双输入双向长短时记忆循环神经网络的双向LSTM模块的每个LSTM记忆块均包括遗忘门和输入门，输入门和遗忘门之和为1；步骤3、模型的训练。该方法利用静态语义和运动轨迹进行手语动作的动态语义识别，准确性好。

技术领域

本发明属于计算机技术领域，具体是一种基于双神经网络的手语识别方法及装置。

背景技术

目前，我国听力语言残疾人数高达2780万人，占全国残疾人的30％以上。由于听力障碍，听力残障人员无法与外界正常交流，手语作为听力残障人士与外界进行交流的重要媒介，特别是在公共场合，比如医院、超市和商场等，语言障碍者的交流变得十分重要。随着电子科技的发展，机器翻译变得很常见，机器翻译不仅具有较高的准确性，同时还缓解了手语翻译人员紧缺的问题，使得手语识别更大众化，保证了听力残障人员与外界的正常沟通。

由于手语动作是一个动态过程，现有的手语识别方法主要采用单个网络模型进行学习训练，需要手动对手势图像进行预处理，操作过程复杂。

申请号为201910061948.0的文献公开了一种手语翻译系统、手语翻译手套及手语翻译方法，该方法手动对采集的动作数据进行归一化处理，并从动作数据上提取特征向量组，通过网络对特征向量组进行学习、训练等操作得到手语结果；该方法需要通过手动处理图像方式得到特征向量组，操作过程复杂；该手语翻译系统是将经过处理后的特征向量组在手势模板库中预先存储的手势数据进行一一匹配，不仅需要建立大量的数据库，而且只能进行单个手势的静态语义匹配，不能实现整个手语动作的动态识别，由于不同静态语义之间手势的相似度较高，容易出现误匹配，准确性较差。

发明内容

针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于双神经网络的手语识别方法及装置。

本发明解决所述技术问题采用的技术方案是：

一种基于双神经网络的手语识别方法，其特征在于，该方法的步骤为：

步骤1、采集手势图像

使用摄像头分别采集各个手语动作的手势图像，每个手语动作采集一组图像，每组包含多帧手势图像；将得到的图像数据分为训练集和测试集；

步骤2、设计Squeeze Net神经网络和双输入双向长短时记忆循环神经网络

所设计的Squeeze Net神经网络包括依次连接的图像输入层、Conv1层、RELU层、BN层、八个Fire模块、第二卷积层、Global avgepool层、softmax层和图像输出层，上一层的输出即为下一层的输入；BN层与Fire1模块之间、Fire3模块与Fire4模块之间以及Fire7模块与Fire8模块之间分别加入maxpool层；

每个Fire模块均包括一个squeeze压缩层和一个扩展层，squeeze压缩层的卷积核为1×1；扩展层包括一个1×1的卷积核和两个1×3和3×1的非对称卷积核，三个卷积核分别经过RELU层和BN层后再按照通道数进行拼接，得到Fire模块的输出；

所设计的双输入双向长短时记忆循环神经网络包括由两个双向LSTM模块构成的双向LSTM模型，两个双向LSTM模块的输出结果同时经过一个全连接层后得到双向LSTM模型的输出；

双向LSTM模块的每个LSTM记忆块均包括遗忘门和输入门，输入门和遗忘门之和为1；

步骤3、模型的训练