[发明专利]一种基于深度学习的举手检测方法

权利要求书

1.一种基于深度学习的举手检测方法，其特征在于，包括以下步骤：

1）收集样本，所述样本为复杂环境样本，对样本尺寸进行聚类，获得训练过程所需的模板尺寸；

2）建立举手检测模型，该举手检测模型基于卷积神经网络结构，并基于所述样本以R-FCN目标检测算法进行训练；

3）利用训练后的举手检测模型对待测视频进行举手检测，获得举手框位置；

4）使用跟踪算法对不同帧的同一举手动作进行合并；

所述步骤4）具体为：

401）获取第一个图像帧及检测到的举手框坐标，各举手框对应建立有一tracklet数组，且状态初始化为ALIVE；

402）获取下一个图像帧，判断是否发生镜头视角变换，若是，则将所有tracklet数组的状态改为DEAD，重新建立新的tracklet数组，返回步骤402），若否，则执行步骤403）；

403）遍历当前图像帧检测到的所有举手框，利用跟踪算法为每一举手框选择最佳匹配的一个tracklet数组；

404）对于在当前图像帧下未被匹配的tracklet数组，判断其状态是否ALIVE，若是，则状态修改为WAIT，若否，则状态修改为DEAD，返回步骤402），直至处理完成所有图像帧；

所述判断是否发生镜头视角变换具体为：

获取相邻两个图像帧，统计两个图像帧对应像素点变化率超过第一阈值的像素点个数；判断变化的像素点个数是否大于第二阈值，若是，则判定为发生镜头视角变换，若否，则未发生镜头视角变换。

2.根据权利要求1所述的基于深度学习的举手检测方法，其特征在于，所述步骤1）中，样本数量大于3万个。

3.根据权利要求1所述的基于深度学习的举手检测方法，其特征在于，所述步骤1）还包括：保存样本信息，所述样本信息包括视频关键帧图像、关键帧图像信息和关键帧图像信息中举手目标的包围盒坐标。

4.根据权利要求1所述的基于深度学习的举手检测方法，其特征在于，所述卷积神经网络结构包括中间层次融合层。

5.根据权利要求1所述的基于深度学习的举手检测方法，其特征在于，该方法还包括步骤：

5）对检测并合并后的举手动作进行计数。