[发明专利]手势交互方法及系统

说明书

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种手势交互方法及系统。

背景技术

部分现有的游戏设备(如xbox、Kinect等产品)实现了手势交互操作。现有的实时手势交互基于模式识别或运动检测模拟简单的交互操作。

当前流行的手势识别算法有以下三种:

(1)基于模式匹配的手势识别。将手势的区域特征用作待识别的特征，使用预设环境参数对目标进行仿射变换后匹配预设模板。该方法有较强稳定性，但识别不够灵活，容错度很低，实时性能较低，当遇到变异的目标时表现得无能为力。

(2)基于隐马尔可夫模型(HMM)的手势识别。用于动态手势识别能够较好的地描述手势的时空变化，但其算法时间复杂度较大，效率低下，不能很好地满足实时交互的需求。

(3)基于人工神经网络的手势识别。计算速度更快，鲁棒性和泛化能力都比较有优势，但由于其对时间序列的处理能力不强，对于动态手势的识别效果不佳。

综上所述，现有技术的手势交互方法均存在实时性不够理想的问题。

发明内容

有鉴于此，本发明的目的在于提供一种手势交互方法及系统，以解决现有技术的授时交互方法存在的实时性不理想的技术问题。

第一方面，本发明实施例提供了手势交互方法，其特征在于，包括以下步骤：

实时采集手势的三维图像；

对三维图像进行预处理，得到预处理后的三维图像；

对预处理后的三维图像进行边缘提取和二值化，生成边缘矩阵和二值矩阵；

对边缘矩阵进行目标封闭区域填充，并将目标封闭区域填充后的边缘矩阵与二值矩阵进行与计算，生成修正二值矩阵；

修正二值矩阵经深度卷积神经网络处理输出交互向量；

交互类状态机根据输出交互向量进行状态更新；

判断更新后的状态有无设定的改变，若无，则直接结束交互；若有，则触发交互动作，并结束交互。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，修正二值矩阵经深度卷积神经网络处理输出交互向量，具体为：

步骤1.对修正二值矩阵进行卷积和下采样；

步骤2.判断卷积和下采样的次数是否大于设定次数，若是，则执行步骤3，若否，执行步骤1；

步骤3.将卷积和下采样后的卷积向量进行全连接计算，并输出交互向量。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，对修正二值矩阵进行卷积和下采样，具体为：

将修正二值矩阵作为卷积神经网络的输入值进行卷积得到特征矩阵：

其中，f为激活函数，所述激活函数为tanh、Sigmoid或ReLU，k为权值，b为偏置；

对特征矩阵进行下采样，具体如下：

其中，d为采样函数。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，全连接计算通过反向传播算法调整权值。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，预处理方法为快速傅里叶变换、局部自适应阈值算法和形态学中的一种或多种，且形态学预处理方法优选膨胀和腐蚀。

结合第一方面及其上述实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，深度卷积神经网络为决策树融合深度卷积神经网络。

第二方面，本发明实施例还提供一种手势交互系统，包括：

图像采集模块，用于实时采集手势的三维图像；

预处理模块，用于对三维图像进行预处理，得到预处理后的三维图像；

图像分割模块，用于对预处理后的三维图像进行边缘提取和二值化，生成边缘矩阵和二值矩阵；

修正模块，用于对边缘矩阵进行目标封闭区域填充，并将目标封闭区域填充后的边缘矩阵与二值矩阵进行与计算，生成修正二值矩阵；

深度卷积神经网络模块，用于使修正二值矩阵经深度卷积神经网络处理输出交互向量；

交互类状态机模块，用于根据输出交互向量进行状态更新；

判断模块，用于判断更新后的状态有无设定的改变，若有，则触发交互动作，并结束交互；若无，则直接结束交互。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，深度卷积神经网络模块包括卷积和下采样单元、判断单元和全连接计算单元；

卷积和下采样单元用于对修正二值矩阵进行卷积和下采样；