[发明专利]一种基于双神经网络的手语识别方法及装置

权利要求书

1.一种基于双神经网络的手语识别方法，其特征在于，该方法的步骤为：

步骤1、采集手势图像

使用摄像头分别采集各个手语动作的手势图像，每个手语动作采集一组图像，每组包含多帧手势图像；将得到的图像数据分为训练集和测试集；

步骤2、设计Squeeze Net神经网络和双输入双向长短时记忆循环神经网络

所设计的Squeeze Net神经网络包括依次连接的图像输入层、Conv1层、RELU层、BN层、八个Fire模块、第二卷积层、Global avgepool层、softmax层和图像输出层，上一层的输出即为下一层的输入；BN层与Fire1模块之间、Fire3模块与Fire4模块之间以及Fire7模块与Fire8模块之间分别加入maxpool层；

每个Fire模块均包括一个squeeze压缩层和一个扩展层，squeeze压缩层的卷积核为1×1；扩展层包括一个1×1的卷积核和两个1×3和3×1的非对称卷积核，三个卷积核分别经过RELU层和BN层后再按照通道数进行拼接，得到Fire模块的输出；

所设计的双输入双向长短时记忆循环神经网络包括由两个双向LSTM模块构成的双向LSTM模型，两个双向LSTM模块的输出结果同时经过一个全连接层后得到双向LSTM模型的输出；

双向LSTM模块的每个LSTM记忆块均包括遗忘门和输入门，输入门和遗忘门之和为1；

步骤3、模型的训练

3-1将步骤1的训练集输入到Squeeze Net神经网络进行训练，采用交叉熵损失函数计算训练损失并优化模型，得到优化后的Squeeze Net神经网络模型；将步骤1的验证集输入到优化后的Squeeze Net神经网络模型，然后重复网络模型训练和验证的操作，得到训练后的Squeeze Net神经网络模型；

3-2将每个手语动作采集的所有图像按照采集顺序依次输入到训练后的Squeeze Net神经网络模型中，获得每张图像的特征坐标点以及每张图像对应的静态手势语义；将相邻两张图像的特征坐标点进行向量运算并进行归一化处理，得到单位向量，每组图像数据获得多个单位向量，并将这些单位向量在空间上依次连接起来，得到手语动作对应的手势运动轨迹；将得到的手势运动轨迹和静态手势语义分为训练集和验证集；

3-3将步骤3-2训练集的手势运动轨迹及其对应的静态手势语义输入到双输入双向长短时记忆循环神经网络进行训练，采用交叉熵损失函数计算训练损失并优化模型，得到优化后的双输入双向长短时记忆循环神经网络模型；将步骤3-2的验证集的手势运动轨迹及其对应的静态手势语义输入到优化后的双输入双向长短时记忆循环神经网络模型，重复网络模型训练和验证的操作，得到训练后的双输入双向长短时记忆循环神经网络模型；

3-4将每个手语动作的手势运动轨迹及其对应的静态手势语义输入到训练后的双输入双向长短时记忆循环神经网络模型中，进行动态手势语义匹配，得到识别结果；

由此完成手语识别。

2.一种基于双神经网络的手语识别装置，其特征在于，该装置包括底座、一号舵机、二号舵机、摄像头、L型支架、舵机支架和摄像头支架；

所述一号舵机通过舵机支架安装在底座上，L型支架的一端固定在一号舵机的输出轴上，二号舵机固定在L型支架的另一端，二号舵机的输出轴与一号舵机的输出轴垂直；摄像头支架固定在二号舵机的输出轴上，摄像头固定在摄像头支架上；

所述底座的前侧设有显示屏；底座上设有多个按钮。

3.根据权利要求2所述的基于双神经网络的手语识别装置，其特征在于，该装置采用树莓派控制；树莓派上设有图像采集单元、数据处理单元和输出显示单元；

数据处理单元内存储有训练后的Squeeze Net神经网络模型和双输入双向长短时记忆循环神经网络模型；数据处理单元包括图像信息提取模块、图像识别模块以及图像信息转换模块。