[发明专利]一种基于ShuffleNet-SSD的手势识别方法及系统

说明书

本发明公开一种基于ShuffleNet‑SSD的手势识别方法及系统。采集手势图像，将其转换为固定尺寸，并对其进行标签标注，并以训练集与测试集一定比例构建数据集；构建ShuffleNet‑SSD网络模型；训练ShuffleNet‑SSD模型，并对其进行参数调整与优化；利用已经训练好的ShuffleNet‑SSD模型实现手势的识别。本发明提出轻量级网络框架代替VGG16框架，减少计算消耗资源。通过ShuffleNet网络进行特征提取，提升识别精度，降低消耗资源。

技术领域

本发明属于计算机视觉领域，主要涉及一种基于ShuffleNet-SSD的手势识别方法及系统。

背景技术

手势作为最符合人类习惯的交互方式，在虚拟仿真领域有着不错的表现。随着对交互体验感越来越高的追求，也对应用于手势交互中的手势识别技术提出了更高的要求。

目前，基于深度学习的手势识别方法主要分为两类:：双步算法和单步算法。双步算法将识别过程分为两个阶段，首先产生候选区域，然后对候选区域分类，这类算法的典型代表是R-CNN系算法，如R-CNN，SPPNet，Fast R-CNN，Faster R-CNN，FPN，R-FCN等。单步算法不需要产生候选区域阶段，它直接产生物体的类别概率和位置坐标值，经过单次检测即可直接得到最终的检测结果，因此有着更快的检测速度，比较典型的算法如YOLO，SSD，Retina-Net。其中SSD是一种非常优秀的手势识别方法，SSD算法使用VGG16网络进行特征提取，该模型虽然有较好的表现，但结构臃肿、参数数量多，降低了模型检测的速度。对于人机交互来说，由于空间、成本等限制以及对实时性的要求，需要进一步对SSD算法进行优化。

非最大抑制(Non-maximum suppression,NMS)是手势识别中重要的组成部分。NMS算法首先按照得分从高到低对检测框进行排序，然后分数最高的检测框被选中，其他框与被选中框有明显重叠的框被抑制。该过程被不断递归的应用于其余检测框。根据算法的设计，如果一个物体处于预设的重叠阈值之内，可能会导致检测不到该待检测物体。即当两个目标框接近时，分数更低的框就会因为与之重叠面积过大而被删掉。

发明内容

本发明的目的是针对现有技术的不足，提供一种基于ShuffleNet-SSD的手势识别方法。

本发明包括以下步骤：

步骤(1)、采集手势图像，将其转换为224*224的固定尺寸，并对其进行标签标注，并以训练集与测试集为9:1的比例构建数据集；

步骤(2)、构建ShuffleNet-SSD网络模型；

ShuffleNet-SSD网络包括特征提取网络ShuffleNet、软化非极大值抑制块Soft-NMS；

作为优选，ShuffleNet网络利用分组卷积以及通道乱序的思想，在小型网络中具有良好的表现。分组卷积通过确保每个卷积操作仅作用于对应的输入通道分组来大幅降低计算成本，通道乱序可使分组卷积从不同的组中获取到输入数据，避免了某个通道的输出仅来自输入通道的一小部分。ShuffleNet网络中包含两个单元，分别为步长为1的ShuffleNet单元和步长为2的ShuffleNet单元。

所述步长为1的ShuffleNet单元使用了一个1*1的分组卷积，接着进行通道乱序操作，之后进行一个3*3逐深度卷积，接下来第二个的分组卷积恢复通道维度。与此同时，在每个卷积层后都接一个BN层，第一个分组卷积之后除了BN层还需要一个ReLU函数。

所述步长为2的ShuffleNet单元在上述步长为1的ShuffleNet单元旁路上增加了3*3平均池化层，并将加操作替换为级联操作，增加维度。

所述特征提取网络ShuffleNet网络结构，包括Conv1层、MaxPool层、Stage2层、Stage3层、Stage4层。