[发明专利]一种基于加权特征谱融合的手势检测方法

说明书

技术领域

本发明属于图像处理及识别领域，是一种用于手势识别的卷积神经网络的新型应用技术。

背景技术

手势交互是一种通过识别人类的肢体语言并转化为操作设备指令的计算机图像技术。手势交互是继鼠标键盘和触摸屏之后的一种新型的人机交互技术。由于人类在开始能进行语言交流之前都是使用了肢体语言进行交流，因此手势交互对于人类来说是一种很便捷的人机交互。由于手势交互的便捷和灵活性，越来越多的人机交互系统使用了手势作为输入法或者作为控制软件和游戏的方法。

手势交互的性能主要取决于对于手势识别的准确性，同时手势识别的准确性又依赖于对手势检测的准确性。近年来，随着深度学习在计算机视觉领域的飞速发展，使得在大部分的计算机视觉领域比如分类、目标分割和目标检测等方面，深度学习都取得了性能和速度上最佳的效果。深度学习成为了手势检测首选的方法。并且越来越多的通用目标检测的方法应用于手势检测，比如Single Shot MultiBox Detector(SSD)，You Only Look Once(YOLO)v1和v2，Faster-Region Convolution neural network(Faster-Rcnn)等方法。SSD方法在多尺度的特征谱上得到不同方向比和尺度的先验框，并且回归这些先验框的置信度和位置偏移。YOLOv1和v2都是直接在最高层的特征谱上面直接回归置信度和位置的偏移。Faster-Rcnn是通过RPN网络先得到目标的proposal，然后根据这些proposal对特征谱进行ROI-Pooling操作，然后进行置信度和位置偏移的回归。尽管这些通用框架可以在手势检测中取得不错的效果，但是针对于手势检测，通用网络就过于冗余，由于底层的特征谱通常包含丰富的边缘和颜色特征，将底层特征融合进中高层特征，改善置信度和位置的回归。在我们的工作中，我们使用加权底层特征谱和高层特征谱进行融合，然后再进行目标的置信度和位置偏移的回归，通常手势交互的设备具有有限的计算资源，因此我们提出使用小网络结合加权特征谱的方式进行手势的检测。

本发明提出了一种基于加权特征谱融合的手势检测方法，是一种用于手势识别的卷积神经网络的新型应用技术。在我们建立的数据库上，我们进行了大量的测试，并取得了很高的检测精度。

发明内容

本发明解决的问题的技术问题包括：现在公开的数据库满足不了进行复杂手势检测，通用网络过于冗余，参数过多，训练样本不足导致的过拟合问题。

本发明技术方案为一种基于加权特征谱融合的手势检测方法，该方法包括：

步骤1:获取用户手势图像,对进行灰度处理；

步骤2:采用特征提取网络提取步骤1处理后图像的全局特征；

步骤3：步骤2的到的全局特征采用识别器进行识别；

其特征在于所述步骤2的特征提取网络包括依次级联的：第1卷积模块、第1池化模块、第2卷积模块、第2池化模块、第3-1卷积模块、第3-2卷积模块、第3-3卷积模块、第3池化模块、第4-1卷积模块、第4-2卷积模块、第4-3卷积模块、第4池化模块、第5-1卷积模块、第5-2卷积模块、第5-3卷积模块、第5池化模块、第6卷积模块；额外的还包括一条加权支路，该加权支路包括依次级联的下采样模块和加权模块；加权支路的输入为第3-3卷积模块的输出，加权支路的输出与第4-3卷积模块的输出级联作为特征提取网络的一个输出，特征提取网络的另外两个输出为第5-3卷积模块的输出和第6卷积模块的输出。

采用连续三个卷积模块是为了增加网络的深度，增加网络的深度使得网络的非线性表达能力大大增加，保证网络的表达能力。同时，将第一卷积模块减少为一个卷积模块是为了降低网络的运算量，这是由于网络的输入阶段的尺度较大，较少卷积层的个数和卷积核的个数可以达到降低计算量的目的。