[发明专利]一种基于动态手势识别的手语翻译交流系统

权利要求书

1.一种基于动态手势识别的手语翻译交流系统，其特征在于：包括手语翻译模块和语音识别模块；

所述手语翻译模块，被配置为：

获取动态手语手势，以数组的形式存储到内存队列中；

采用多层卷积神经网络对内存队列中的手语手势图像进行多次特征图提取，并采用长短期记忆神经网络对提取的特征图进行时序建模，输出手语标签的时序序列，完成手语手势的识别；设置一个判断函数，当连续10帧中检测不到手势运动时，判断为一个句子的结束；

对手语标签进行句子合成，并利用显示屏对句子进行展示，同时将句子以语音形式进行播放；

所述语音识别模块，被配置为：

获取语音；

对语音数据进行识别处理，得到离散词汇；

根据离散词汇在手语手势动画数据库中获取对应手势动画进行拼接，并通过显示屏进行演示；

所述手语翻译模块包括依次连接的手语手势获取模块、手语手势识别模块、第一文字显示模块和语音播放模块，所述语音识别模块包括依次连接语音获取模块、语音识别模块、第二文字显示模块和手语动画演示模块；

所述语音播放模块在对文字和语音的转换过程中构建与所述手语手势识别模块独立的线程，在该线程中设置一个事件监听函数进行监听，每当所述第一文字显示模块输出一个完整的句子时，该线程启动进行转换；

所述语音识别模块采用端到端的循环神经网络算法对采集到语音声波数据进行处理识别，得到离散词汇，并将离散词汇通过第二文字显示模块进行显示，所述语音识别模块尾部，还添加有CTC语言模型；

所述手语动画演示模块根据语音识别模块得到的离散词汇在手语手势动画数据库中进行检索，检索完毕后，根据之前的词汇顺序将检索的动画片段进行拼接，并通过显示屏进行演示；

所述手语手势动画数据库中每一个离散词汇对应一个固定动画。

2.如权利要求1所述的一种基于动态手势识别的手语翻译交流系统，其特征在于，所述手语手势获取模块通过摄像头对动态手语手势进行获取，并对获取到的每一帧图像的大小进行统一调整后，以数组的形式存储到内存队列中。

3.如权利要求1所述的一种基于动态手势识别的手语翻译交流系统，其特征在于，所述第一文字显示模块采用循环神经网络对手语手势识别模块的手语标签进行句子合成，并利用显示屏对句子进行展示。

4.如权利要求3所述的一种基于动态手势识别的手语翻译交流系统，其特征在于，所述句子合成过程包括：

根据手语标签形成离散词汇，根据输入的离散词汇结合已有的中文语料数据库，选取相似度最大的模板语料生成初始的句子；

通过循环神经网络结构将该句子进行初始化，通过网络迭代进行句子修正，在修正过程中，采用相似词替换方式增加句子的准确性和连贯性。

5.如权利要求1所述的一种基于动态手势识别的手语翻译交流系统，其特征在于，所述语音播放模块用于将第一文字显示模块中生成的句子以语音形式进行播放。

6.如权利要求1所述的一种基于动态手势识别的手语翻译交流系统，其特征在于，所述语音获取模块通过声波方式采集语音数据，并以数组的形式存储到内存中，所述数组在列维度上表示实时的声波数组，在行维度上表示声波的声学特征。