[发明专利]一种基于微惯导信号和模式识别的手语翻译方法

说明书

技术领域

本发明涉及一种基于微惯导信号和模式识别的肢体语言翻译方法，尤指一种手语翻译方法，可应用于需要对人的各种手语动作进行翻译的各类场合，属于传感技术和图像处理技术领域。

背景技术

手语动作的模式识别可以应用在多个领域，诸如手语翻译系统、3D游戏制作、虚拟游戏系统等领域。现在用得较多的手语翻译系统的模式识别都是基于视觉识别的。这种识别方式主要是用多个相机同时从各个视角拍下手语动作，然后进行图像帧的底层特征提取，接着进行帧间的特征联系，最终识别出手语动作。但这种基于视觉的手语动作的模式识别是有缺陷的，其比较明显的有两点：1，对于复杂的手语动作，用图像进行处理和识别难以精确；2，用图像进行处理和识别很容易受环境的影响，比如在光线很暗的情况下就很受影响。

随着现代技术的不断发展，微机电系统以其体积小、重量轻、功耗低、成本低、可靠性高等优点，在军用市场和民用市场均得到了广泛的应用。特别是惯性传感器，已经在航空航天、汽车、电子设备保护、娱乐等领域取得了非常引人注目的应用，开创了微型汽车安全气囊传感器等新的产业。随着技术的发展和深入，继承多种惯性微机电系统传感器是目前的研究热点，在生物医学、环境监控、消费电子等领域有着十分广阔的应用前景。特别值得一提的是现在微机电系统研究和发展的一个重要方向，也即微型惯性测量组合(uIMU)，它在生物医学、工业自动化、智能建筑、航空航天、环境监控、消费电子等领域前景巨大。

微惯导是微惯导测量组合的简称，它由一定数量的三维加速度计和三维角速度计组成，它的测量原理是经典力学中的牛顿运动定律，它通过三维加速度计和三维角速度计测量车辆、飞机、导弹、舰艇、人造卫星等物体的质心运动和姿态运动，从而对物体进行控制和导航。基于MEMS三维加速度计和三维角速度计的微惯性测量系统具有体积小、重量轻、可靠性高、易集成、能大批量生产、价格低廉等优点，从而在军用、民用领域有广阔的应用前景。

基于微惯导技术的这些卓越的特性，能否将其结合到图像识别技术用于对人体动作的翻译，以及如何结合，为本领域技术人员开拓了一条崭新的思路。

发明内容

本发明旨在开发一种全新的人体动作尤其是手语翻译方法，不仅可以实现听力和语言障碍的人士与正常人群的对话和交流，而且能应用到更广泛的领域中，比如3D游戏制作、虚拟游戏系统等；与传统的基于视觉信号和模式识别的手语翻译方法相比，该方法更精确，尤其对应用环境的依赖性更小，即使在环境光线暗弱的情况下也可以正常实施，且实施该方法所需的系统成本更小，系统体积小便于携带。

为了解决上述问题，本发明公开了一种基于微惯导信号和模式识别的手语翻译方法，采用的技术方案如下：

一种基于微惯导信号和模式识别的手语翻译方法，其特征在于，所述方法包括如下步骤：1)了解手语基本动作，并按照手语动作的要求，建立一传感器网络布局；2)选取多个样本，并完成样本的手语动作的数据采集、预处理、特征提取，建立一个具有普便适用性和完备性的手语动作数据库；3)用HMM模型训练该手语动作数据库，形成手语动作的HMM分类器；4)用测试样本测试所述HMM分类器；5)进行各手语动作的模式识别，并完成后续的翻译动作；

优选地，步骤1)所述的传感器网络布局包括多个传感器，均安装在对手语动作敏感的不同位置，例如是：双手的2个拇指上各1个传感器，其余的8个手指上每个手指上2个传感器，双手的2个手臂各1个传感器，头部1个传感器，总计21个传感器组成传感器网络；

优选地，步骤1)所述的传感器网络布局中的每个传感器都集成了加速度计和角速度计；

优选地，步骤2)所述的手语动作的预处理是指用卡尔曼滤波器对手语动作数据进行去噪处理；

优选地，步骤2)所述的手语动作的特征提取是通过采用先验知识和数据关联分析的方法，分析各种人体运动姿态的典型特征，研究人体各种基本运动姿态的时域、频域特征，通过数据变换方式减少或者去除信息冗余，且所述数据变换优选为FFT变换、PCA变换、DCT变换中的至少一种。

优选地，步骤2)所述的具有普便适用性和完备性的手语动作数据库是指：该手语动作数据库包含多个基本手语动作，这些动作是由多个人体样本得到的，所述人体样本包含不同年龄、不同性别、不同职业，例如手语老师、手语学员和普通聋哑人等；优选地，该数据库包含500个基本手语动作，这500个动作是由1000个样本得到的；

优选地，所述手语动作数据库包括训练部分和测试部分；