[发明专利]一种基于中心点轨迹预测的视频动作检测方法

说明书

一种基于中心点轨迹预测的视频动作检测方法，在视频时空动作检测中，将每个动作实例视为动作发起者中心点移动的轨迹，轨迹由中间帧动作的中心点和其他帧动作的中心点相对于中间帧中心点的运动矢量来表示，首先对视频帧序列提取特征，得到中间帧的中心点位置预测及动作类别预测，然后得到中间帧的中心点到其他帧中心点运动轨迹，最后生成各帧中心点的检测框，即得到位置定位，由此得到动作的类别和定位结果，完成视频片段上的时空检测任务。本发明提出了一种无锚框的视频动作检测方法，在视频中沿时序上完成动作的时空定位和分类任务，相比于现有技术带锚框的视频动作检测更加精简高效，体现了鲁棒性和高效性，同时具有很强的扩展性和移植性。

技术领域

本发明属于计算机软件技术领域，涉及时空动作检测技术，具体为一种基于中心点轨迹预测的视频动作检测方法。

背景技术

时空动作检测是计算机视觉领域的一个重要研究任务，其目的是对视频中的动作实例进行分类，并在空间和时间上对其完成定位。时空动作检测在现实场景中有广泛的应用前景，如视频监控和群组动作检测。目前常用的方法是在每一帧上独立使用动作检测器完成逐帧检测，然后使用动态规划或目标跟踪按时序连接单帧的检测结果。这些方法在进行单帧检测时不能有效利用时间维度的信息，因此在实际进行动作检测时效果不佳。为了解决这个问题，一些研究工作试图通过利用短期时序信息进行小时间片内的动作检测，这些方法输入一串连续的视频帧并输出检测到的动作切片，即实现一个较短的沿时序上连续动作包围框序列，此类检测方案巧妙利用连续帧内的动作切片为基于视频的动作检测提供了一种更自然、更有效的解决方案，并得到了良好的效果。

在上述研究的基础上，现有的视频时空动作检测方法与目前主流的图像领域目标检测方法如Faster R-CNN和SSD密切相关，但它们往往需要大量预先手工设置好的锚框。虽然基于锚框的目标检测器已经在图像领域取得了显著的成功，但它们仍然存在一些关键问题，如对超参数比较敏感，包括初始化锚框的大小、锚框的长宽比和多种锚框的比例等，以及由于密集设置的锚框而导致的检测效率低下。将这些基于锚框的检测框架从图像检测领域应用到视频动作检测领域时，上述问题将更加严重。随着视频时间的增长，在一个视频内出现的锚框数量将急剧增加，这给神经网络的训练和测试带来了很大的挑战。

发明内容

本发明要解决的问题是：现有的时空动作检测器往往是借助图像领域中带锚框的目标检测框架来实现的，但在视频领域中锚框的数量会成为限制时空动作检测器性能和速度的瓶颈。

本发明的技术方案为：一种基于中心点轨迹预测的视频动作检测方法，在视频时空动作检测中，将每个动作实例视为动作发起者中心点移动的轨迹，一组运动序列的轨迹由中间帧动作的中心点和其他帧动作的中心点相对于中间帧中心点的运动矢量来表示，首先对视频帧序列提取特征，得到中间帧的中心点位置预测及动作类别预测，然后得到中间帧的中心点到其他帧中心点运动轨迹，最后生成各帧中心点的检测框，即得到位置定位，由此得到动作的类别和定位结果，完成视频片段上的时空检测任务。

作为优选方式，首先将一组连续的视频帧输入到二维特征提取网络进行特征提取，然后将提取的特征输入三个分支进行进一步检测，包括(1)中心点预测分支:用于检测一组视频序列的中间帧的动作实例的中心和类别；(2)位移预测分支:用于估计当前帧动作中心点相对于中间帧中心点的运动矢量；(3)检测框回归分支:用于单独预测每帧视频帧动作中心点处的包围框大小；

三个分支相互协作：通过中心点预测分支定位到中间帧运动者的中心点，然后根据位移预测分支估计运动者的移动，从而将中间帧中心点移动到其他帧形成一条中心点运动轨迹，并根据检测框回归分支在每帧的中心点生成检测框，实现整个视频的时空动作检测。

进一步的，本发明还利用匹配算法将多组视频帧连接起来，实现长时间视频的时空动作检测。

作为进一步优选方式，本发明通过神经网络实现，包括生成训练样例阶段、网络配置阶段、训练阶段以及测试阶段：