[发明专利]一种视频时序动作的检测方法、装置及设备

权利要求书

1.一种视频时序动作的检测方法,其特征在于,包括:

获取视频数据,并提取所述视频数据的视频特征；

将所述视频特征输入至锚分支网络以及无锚分支网络，以获取所述锚分支网络输出的第一输出结果，及所述无锚分支网络输出的第二输出结果，其中，所述锚分支网络以及所述无锚分支网络并行处理所述视频特征；

调用对齐损失函数对所述第一输出结果及所述第二输出结果进行融合处理，生成时序动作定位结果集；具体为：

调用无锚目标检测算法，对所述视频特征进行区分为前景点和背景点；

获取被判定为前景点的时序点的分类分数，以及该时序点到动作边界的距离；

锚匹配网络是一个多任务网络，其损失函数为多任务损失函数，包括锚分支损失函数、无锚分支损失函数和两个分支的对齐损失函数，其数学表达式如下：

L_APMN＝L_ab+λ·L_af+γ·L_al

其中，L_APMN是总损失函数，L_ab损失函数是锚分支损失函数，用于监督锚分支网络中定位和分类任务的训练，L_af损失函数是无锚分支损失函数，用于监督无锚分支网络的定位和分类任务，L_al损失函数是对齐损失函数，

其中，对齐损失函数的模型为：

其中，L_al为对齐损失函数,为锚分支网络输出的动作提名,为无锚分支网络输出的动作提名,N为常数；

其中，锚分支网络和无锚分支网络共享时序位置点，所述时序位置点包括前景点和背景点，对齐损失函数的模型用于对前景点计算损失，其中N表示两个分支按照回归分数排序得到的TopN个时序提名的个数，对两个分支的TopN个时序提名，逐个计算它们之间的时序交并比tIoU；

其中，将视频特征输入到锚匹配网络中，并从锚分支网络和无锚分支网络进行预测，对于锚分支网络，得到分类分数S_ab、动作提名评价分数p_o和动作边界偏移值(Δ_c,Δ_w)，对无锚分支网络，将网络输出的偏移值转化成标准的动作边界(s_af,e_af)，将两个分支得到的输出结果进行融合，然后，使用Soft-NMS算法对两个分支的融合结果进行后处理，最后得到时序动作定位结果集。

2.根据权利要求1所述的一种视频时序动作的检测方法,其特征在于,所述获取视频数据,并提取所述视频数据的视频特征，具体为：

以预设的帧率对所述视频数据进行拆解，以获得所述视频数据的视频帧序列；

调用光流算法运算所述视频数据，以提取出所述视频数据的光流图像；

调用经过预训练的I3D模型，将所述视频帧序列及所述光流图像分别输入至所述I3D模型中，以获得对应的RGB特征和Flow特征；

将所述RGB特征和Flow特征进行拼接，生成所述视频特征。