[发明专利]一种手语语音双向翻译系统

说明书

技术领域

本发明涉及基于传感技术和模式识别技术的肢体动作识别技术以及语音识 别技术，尤指一种以微惯导传感器网络和手语动作分类器为核心的手语语音双向 翻译系统，能对手语动作进行语音表达，也能将语音信息翻译成手语动作加以显 示，属于传感技术和微惯导信号处理、语音处理技术领域。

背景技术

手语动作的模式识别是手语翻译系统中的重要环节，现在用得较多的手语翻 译系统的模式识别都是基于视觉识别的。这种识别方式主要是用多个相机同时从 各个视角拍下手语动作，然后进行图像帧的底层特征提取，接着进行帧间的特征 联系，最终识别出手语动作。但这种基于视觉的手语动作的模式识别是有缺陷的， 其比较明显的有两点：1，对于复杂的手语动作，用图像进行处理和识别难以精 确；2，用图像进行处理和识别很容易受环境的影响，比如在光线很暗的情况下 就很受影响。

随着现代技术的不断发展，微机电系统以其体积小、重量轻、功耗低、成本 低、可靠性高等优点，在军用市场和民用市场均得到了广泛的应用。特别是惯性 传感器，已经在航空航天、汽车、电子设备保护、娱乐等领域取得了非常引人注 目的应用，开创了微型汽车安全气囊传感器等新的产业。随着技术的发展和深入， 继承多种惯性微机电系统传感器是目前的研究热点，在生物医学、环境监控、消 费电子等领域有着十分广阔的应用前景。特别值得一提的是现在微机电系统研究 和发展的一个重要方向，也即微型惯性测量组合(uIMU)，它在生物医学、工业 自动化、智能建筑、航空航天、环境监控、消费电子等领域前景巨大。

微惯导是微惯导测量组合的简称，它由一定数量的三维加速度计和三维陀螺 仪组成，它的测量原理是经典力学中的牛顿运动定律，它通过三维加速度计和三 维陀螺仪测量车辆、飞机、导弹、舰艇、人造卫星等物体的质心运动和姿态运动， 从而对物体进行控制和导航。基于MEMS三维加速度计和三维陀螺仪的微惯性测 量系统具有体积小、重量轻、可靠性高、易集成、能大批量生产、价格低廉等优 点，从而在军用、民用领域有广阔的应用前景。

基于微惯导技术的这些卓越的特性，能否将其结合到图像识别技术用于对人 体动作的翻译，以及如何结合，为本领域技术人员开拓了一条崭新的思路。

同时，为了解决聋哑人与正常人交流的障碍，仅仅能够将聋哑人的手语翻译 出来是不够的，为了使聋哑人能够明白正常人的意图，还需要能够将正常人的语 音信息翻译成对应的手语动作并显示给聋哑人的装置。

发明内容

本发明旨在公开一种手语语音双向翻译系统，既可将手语翻译成对应的语音 信息，又可将语音翻译成对应的手语并显示，该系统包括：基于微惯导传感的手 语动作捕捉系统、微惯导信号处理与分析系统、一训练完成的手语动作特征分类 器、用来训练手语动作分类器的手语动作特征数据库、语音文字数据库、视频/ 动画数据库、语音信号采集系统、语音分析系统、发声系统和显示系统；其中： 所述手语动作捕捉系统与所述微惯导信号处理与分析系统通信连接，所述手语动 作分类器分别与所述手语动作特征数据库、微惯导信号处理与分析系统、语音文 字数据库、视频/动画数据库、显示系统通信连接，所述语音文字数据库还与所 述语音分析系统和视频/动画数据库通信连接，所述语音信号采集系统和发声系 统分别与所述语音分析系统通信连接；

优选地，所述手语动作捕捉系统包括主控单元、信号滤波和放大单元、AD 转换单元以及发送单元，还包括若干个微惯导传感节点，每一个传感节点包含三 维加速度传感器和三维陀螺仪；

优选地，所述手语动作捕捉系统还需要进行以下操作步骤：

1)建立微惯导器件失配误差模拟模型；

2)高性能6维自由度的uIMU手语动作传感子系统设计；

3)建立手语动作误差模型；

优选地，所述微惯导信号处理与分析系统接收手语动作捕捉系统传送来的微 惯导数字信号，采用特定的滤波算法对这些信号进行运算和分析，并采用特定的 特征提取方法和最优搜索法、次优搜索法、模拟退火法、遗传算法，根据可分离 性判据来选择可分性最大的特征组；

优选地，所述特定的滤波算法为基于矢量的Kalman滤波法，所述特定的特 征提取方法基于主成分分析法(PCA)或者频域分析方法快速傅里叶变换(FFT) 和离散余弦变换(DCT)；