[发明专利]一种视频时序动作的检测方法、装置及设备

说明书

本发明提供了一种视频时序动作的检测方法、装置及设备,方法包括:获取视频数据,并提取所述视频数据的视频特征；将所述视频特征输入至锚分支网络以及无锚分支网络，以获取所述锚分支网络输出的第一输出结果，及所述无锚分支网络输出的第二输出结果，其中，所述锚分支网络以及所述无锚分支网络并行处理所述视频特征；调用对齐损失函数对所述第一输出结果及所述第二输出结果进行融合处理，生成时序动作定位结果集。解决了现有技术中对数据集的动作标注往往很模糊的问题。

技术领域

本发明涉及计算机视觉领域，特别涉及一种视频时序动作的检测方法、装置及设备。

背景技术

时序动作定位是视频处理中一项极具挑战性的任务，其旨在时间轴上定位动作的开始和结束位置，同时还要预测动作的种类。与图像领域的目标检测算法类似，时序动作定位算法也可分为一阶段和两阶段算法；

当前大多数时序动作定位方法都是遵循两阶段范式的算法，两阶段范式算法虽然可以使得模型的精度很高，但是由于逐步微调过程使得其应用效率降低，开发一种高效的端到端的一阶段算法迫在眉睫。一阶段算法要求定位和分类一步完成，具有速度快、推理简单等优点。在一阶段时序动作定位算法中，可大致分为两大类：Anchor Based和AnchorFree方法。在Anchor Based的算法中，这种方式通过先验估计一系列固定尺度大小的时间锚框，然后基于这些锚框执行定位和分类任务。这种方式虽然可以通过密集分布锚框而覆盖所有的真实动作实例，但是在实现过程中却很难找到这种先验估计。Anchor Free方法则继承了目标检测Anchor Free算法的特点，在动作区域内的时序点上回归到动作边界的偏移，同时对该时序点进行动作类别级的划分。这种方法虽然缓解了固定先验框带来的问题，但是现有数据集的动作标注往往很模糊，使得Anchor Free方法定位很难

有鉴于此，提出本申请。

发明内容

本发明公开了一种视频时序动作的检测方法、装置及设备，旨在解决现有技术中，对数据集的动作标注往往很模糊的问题。

本发明第一实施例提供了一种视频时序动作的检测方法,包括:

获取视频数据,并提取所述视频数据的视频特征；

将所述视频特征输入至锚分支网络以及无锚分支网络，以获取所述锚分支网络输出的第一输出结果，及所述无锚分支网络输出的第二输出结果，其中，所述锚分支网络以及所述无锚分支网络并行处理所述视频特征；

调用对齐损失函数对所述第一输出结果及所述第二输出结果进行融合处理，生成时序动作定位结果集。

优选地，所述获取视频数据,并对所述视频数据的视频特征，具体为：

以预设的帧率对所述视频数据进行拆解，以获得所述视频数据的视频帧序列；

调用光流算法运算所述视频数据，以提取出所述视频数据的光流图像；

调用经过预训练的I3D模型，将所述视频帧序列及所述光流图像分别输入至所述I3D模型中，以获得对应的RGB特征和Flow特征；

将所述RGB特征和Flow特征进行拼接，生成所述视频特征。

优选地，所述将所述视频特征输入至锚分支网络，以获取所述锚分支网络输出的第一输出结果具体为：

调用SSD目标检测算法进行预定义一系列多尺度的时序锚框；

对所述一系列多尺度的时序锚框进行回归和分类操作，以获得所述第一输出结果，其中，所述输出结果包括动作分类的分数、动作提名评价分数、以及回归的偏移值。

优选地，所述将所述视频特征输入至无锚分支网络，以获取所述无锚分支网络输出的第二输出结果具体为：

调用无锚目标检测算法，对所述视频特征进去区分为前景点和背景点；