[发明专利]一种神经网络实时手语翻译系统设备

说明书

一种神经网络实时手语翻译系统设备属于手语翻译技术领域，本发明能够将设备使用者所做出的手语动作实时翻译成书面文字并显示在手机APP上，用来帮助聋哑人降低与人们交流的难度。本发明包括主控模块、手势模块、通信模块和终端模块。主控模块用于采集来自手势模块的信号，经神经网络手语识别算法处理后，通过通信模块将信号传递给终端模块；手势模块用于采集设备使用者的手语动作数据，由采集手指弯曲时数据的弯曲传感器和检测手掌朝向的MPU6050芯片模块两部分组成，通过连接电路与主控模块相连；通信模块采用半双工工作的HC‑05蓝牙模块，通过UART接口与主控模块的I/O口相连，作为数据传输通道；终端模块采用具有蓝牙功能的手机端App的形式，通过通信模块接收经主控模块处理过的信号，得到最终的识别翻译结果以书面文字的形式显示在手机屏幕上。

技术领域

本发明专利属于手语翻译技术领域，特别涉及一种神经网络实时手语翻译系统设备。

背景技术

据近些年统计，我国有超过2000万人存在听力障碍，放眼到全球这一数字则扩大到大约7000万人，近些年来国内外相关科研工作者投入了大量时间来攻克手语识别技术领域所存在的不足与挑战，科研工作者们曾研究过诸如数据手套或特殊摄像头这样的输入传感器潜在的发展空间，虽然前者在识别方面表现很好，但因为难以穿戴和过于昂贵很难投入广泛使用。而网络摄像头或立体摄像头虽然能够保证追踪手部运动的精度和速度，却很难处理好复杂背景和光照。

发明内容

本发明提供一种神经网络实时手语翻译系统设备，能够将设备使用者做出的手语动作实时翻译成书面文字并显示在手机APP上，用来帮助聋哑人降低与人们交流的难度。

本发明解决上述技术问题的技术方案如下：一种神经网络实时手语翻译系统设备，包括主控模块、手势模块、通信模块和终端模块：

所述主控模块用于采集来自手势模块的信号，经神经网络手语识别算法处理后，通过通信模块将信号传递给终端模块；

所述手势模块用于采集手语动作数据，由采集手指弯曲时数据的弯曲传感器和检测手掌朝向的MPU6050芯片模块两部分组成，通过连接电路与主控模块相连；

所述通信模块采用半双工工作的HC-05蓝牙模块，通过UART接口与主控模块的I/O口相连，作为数据传输通道；

所述终端模块采用手机端App的形式，通过通信模块接收经主控模块处理过的信号，得到最终的识别翻译结果以书面文字的形式显示在手机屏幕上；

所述神经网络手语识别算法的设计过程，首先利用数据设备对设备使用者的手语动作进行数据采集，由不同的使用者在不同时段分批次完成采集，进而建立供训练验证的手语数据库，然后对所有数据按不同类别进行预处理，最后根据数据的长度与类型确立神经网络的结构与激活函数，在完成训练并在验证中得到稳定的结果后，确定将要移植到收据设备上的权值矩阵，除此之外还引入了动作代号避免静态动作的重复识别。

本发明的优点：能够实现实时识别设备穿戴者所做出的手语动作，并以文本的形式翻译出来；手部姿势动作各不相同的不同的设备使用者使用时，设备仍能保持很高的精度；信号传输速度快，数据设备与手机终端通信的过程中不受外界环境的影响；能耗较低研发成本适中。

附图说明

图1是本发明所述的一种神经网络实时手语翻译系统设备的系统总体设计图；

图2是本发明的数据设备到手机端的工作过程；

图3是本发明的神经网络训练和识别的基本流程图。

具体实施方式

为进一步了解本发明的内容，结合附图及实施例对本发明作详细描述。

如图1所示，一种神经网络实时手语翻译系统设备，包括主控模块、手势模块、通信模块、终端模块；