[发明专利]一种融合图像和生理信号双通道的体感动态手势识别方法

说明书

一种融合图像和生理信号双通道的体感动态手势识别方法，具体步骤如下：Step1：采集动态手势生理信号和图像样本；Step2：生理信号降噪和降频处理；Step3：图像通道卷积神经网络提取图像特征；Step4：建立多通道体感手势LSTM识别模型；Step5：基于最优体感动态手势识别模型的实时测试。本发明基于深度学习理论构建融合识别框架，通过卷积神经网络和长短时记忆网络搭建体感动态手势识别模型，识别精度高，实时性好，识别鲁棒性较好。

技术领域

本发明涉及动态手势识别领域，特别涉及一种融合图像和生理信号双通道的体感动态手势识别方法。

背景技术

随着经济和科技的发展，人们对生活质量的要求越来越高。体感交互方式满足自然友好、人性化等特点，能够在任何时间、任何地点、以任何方式进行信息获取与处理，彰显着“以人为中心”的核心思想，对发展普适智能计算和人机智能交互技术都有重要意义，从而直接在虚拟现实、运动康复、智能家居等领域发挥着重要的作用。其中，体感动态手势识别是体感交互技术的关键模块之一，同时也是重要的支撑技术。

传统的体感动态手势识别可分为几大类，分别是惯性传感器/数据手套捕获、基于图像/视频的动作捕获，还有以及近几年兴起的基于生理信号动作捕获等。其中现今最为主流的两种的方法是基于图像和生理信号的体感手势识别技术，但基于图像的方法观察范围有限且容易受到光照条件、遮挡等多种因素的影响，而基于生理信号对测量噪声十分敏感并且信号个体差异较大，可见这两种主流方法并不能完全满足体感动态手势识别的需求，针对此需要一种融合的体感手势识别方案，从多传感器融合的角度将这两种方法结合起来，优势互补。

近年来，随着深度学习框架革命性的提出，深度学习理论被广泛应用于图像处理、动作识别、机器翻译、语音识别等领域。卷积神经网络(CNN)，CNN的本质在于构建多个能够提取数据特征的滤波器，对输入数据进行逐层卷积和池化操作来提取数据之间隐藏的，可以提取高维数据在不同层次上的特征，在体感手势图像处理上有着显著的优势。循环神经网络(RNN)将时序的概念引入到网络结构设计中，隐藏层之间的互连结构反映出时间序列之间的相互影响关系，长短期记忆(LSTM)模型是RNN的一种变体，它通过在网络中加入细胞结构(cell)弥补RNN的不足，从而对时序数据具有更强地适用性，可以捕获动态手势的时序性特征。受此启发，

发明内容

为了解决以上问题，本发明提供一种融合图像和生理信号双通道的体感动态手势识别方法，基于深度学习理论构建融合识别框架，通过卷积神经网络和长短时记忆网络搭建体感动态手势识别模型，识别精度高，实时性好，识别鲁棒性较好。为达此目的：

本发明提供一种融合图像和生理信号双通道的体感动态手势识别方法，具体步骤如下：

Step1：采集动态手势生理信号和图像样本；

选择生理信号和图像两个通道的数据做体感手势识别的样本，其中生理信号为表面肌电信号sEMG，图像为RGB图像，选取多个身体状况健康的志愿者作为实验研究对象，每个实验者都佩戴有可穿戴智能交互设备，设备有表面肌电传感器，同时采用Kinect摄像机实时采集动态手势图像，实验者分别多次做出相应动态手势，生理信号通道上，表面肌电传感器收集每次手势的表面肌电信号；图像上，采用阈值分割方法，利用深度信息映射到彩色信息上，Kinect平台可以将手部的信息与背景分离出来，以避免了背景信息的干扰，最终根据手势类别将每组序列进行标注；

Step2：生理信号降噪和降频处理；

生理信号中存在部分高频噪声，对后续的识别模型有干扰，采用五点三次多项式法对生理信号进行降噪处理，具体如下：

建立生理信号与采集时间t的三次项关系式

y＝a₀+a₁x+a₂x²+a₃x³