[发明专利]一种基于深度学习的举手检测方法

说明书

本发明涉及一种基于深度学习的举手检测方法，包括以下步骤：1)收集样本，所述样本为复杂环境样本；2)建立举手检测模型，该举手检测模型基于卷积神经网络结构，并基于所述样本以R‑FCN目标检测算法进行训练；3)利用训练后的举手检测模型对待测视频进行举手检测，获得举手框位置。与现有技术相比，本发明具有能够检测复杂环境中的举手动作、准确率检全率高等优点。

技术领域

本发明涉及一种视频检测方法，尤其是涉及一种基于深度学习的举手检测方法。

背景技术

视频序列中的运动人体检测与行为识别是一项涉及计算机视觉、模式识别及人工智能等多领域的研究课题，因其在商业、医疗和军事等领域中广泛的应用价值，一直是人们研究的热点。然而，因为人体行为的多样性和非刚性及视频图像固有的复杂性，所以要提出一种稳健而又实时准确的方法仍然是难点。

由于噪声和高度动态的背景，不同的光照条件，以及小尺寸和多个可能的匹配对象，在一个典型的课堂环境中检测人的举手动作是一个具有挑战性的任务。

文献“Haar-Feature Based Gesture Detection of Hand-Raising for MobileRobot in HRI Environments”公开了一种基于Haar特征的举手检测技术，该方法首先训练两个分类器，该方法用人脸检测器扫描输入图像的所有位置以查找人，然后用一个举手检测器扫描人脸周围的特定区域以检测是否有举手。该方法分为训练阶段和检测阶段。训练阶段具体包括：(1)创建样本，训练样本分为正样本和负样本，其中正样本是指待检目标样本，负样本指其它任意图片；(2)特征提取，包括边缘特征、线条特征和中心特征；(3)Cascaded Adaboost训练，通过调用OpenCV的opencv_traincascade程序来完成。训练结束后生成一个.xml模型文件，生成的adaboost级联分类器可以检测举手动作，这也是整个检测技术的关键。检测阶段具体包括：(1)视频切帧并进行人脸检测；(2)基于人脸约束的感兴趣区域选择；(3)利用训练好的级联分类器在感兴趣区域中进行举手检测。

上述方法虽然能获得检测结果，但还存在一些不足：(1)需要进行人脸检测，人脸检测的效果好坏将直接影响最终举手检测的效果；(2)感兴趣区域的选择需要不断尝试，对新的检测环境需要重新制定选择方案，似的检测结果不鲁棒；(3)基于Haar特征的举手检测效果不佳，准确率和检全率均较低。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于深度学习的举手检测方法。

本发明的目的之一是能够检测复杂环境(如教室环境)中的举手动作。

本发明的目的之二是提高举手检测的准确率。

本发明的目的之三是提高举手检测的检全率。

本发明的目的之四是将不同帧的同一举手动作合并，得到更加真实的举手次数。

本发明的目的可以通过以下技术方案来实现：

一种基于深度学习的举手检测方法，包括以下步骤：

1)收集样本，所述样本为复杂环境样本；

2)建立举手检测模型，该举手检测模型基于卷积神经网络结构，并基于所述样本以R-FCN目标检测算法进行训练；

3)利用训练后的举手检测模型对待测视频进行举手检测，获得举手框位置。

进一步地，所述步骤1)中，样本数量大于3万个。

进一步地，所述步骤1)还包括：保存样本信息，所述样本信息包括视频关键帧图像、关键帧图像信息和关键帧图像信息中举手目标的包围盒坐标。

进一步地，所述步骤1)还包括：对样本尺寸进行聚类，获得训练过程所需的模板尺寸。