[发明专利]视频表征自监督对比学习方法和装置

权利要求书

1.一种视频表征自监督对比学习方法，其特征在于，包括：

根据视频片段的每个视频帧相应的光流信息，计算得到所述视频片段的每个视频帧相应的运动幅度图；

根据所述视频片段的各视频帧相应的运动幅度图，确定所述视频片段相应的运动信息；

根据视频片段序列和每个视频片段相应的运动信息，进行视频表征自监督对比学习。

2.根据权利要求1所述的方法，其特征在于，所述根据视频片段的每个视频帧相应的光流信息，计算得到所述视频片段的每个视频帧相应的运动幅度图，包括：

提取视频片段中每一对相邻视频帧之间的光流场，以确定所述视频片段的每个视频帧相应的光流场；

计算每个视频帧相应的光流场在第一方向和第二方向的梯度场；

将第一方向和第二方向的梯度场的幅值进行聚合得到每个视频帧相应的运动幅度图。

3.根据权利要求2所述的方法，其特征在于，第一方向和第二方向相互垂直。

4.根据权利要求2所述的方法，其特征在于，所述计算每个视频帧相应的光流场在第一方向和第二方向的梯度场包括：

计算每个视频帧相应的光流场的水平分量在第一方向和第二方向的梯度；

计算每个视频帧相应的光流场的垂直分量在第一方向和第二方向的梯度；

每个视频帧相应的光流场的水平分量和垂直分量在第一方向和第二方向的梯度，构成所述光流场在第一方向和第二方向的梯度场。

5.根据权利要求1所述的方法，其特征在于，所述视频片段相应的运动信息包括：所述视频片段相应的时空运动图、空间运动图、时间运动图中的一项或多项；其中，

确定所述视频片段相应的时空运动图包括：在时间维度将视频片段的各视频帧的运动幅度图叠加构成所述视频片段的时空运动图；

确定所述视频片段相应的空间运动图包括：对所述视频片段的时空运动图沿着时间维度进行池化，得到所述视频片段的空间运动图；

确定所述视频片段相应的时间运动图包括：对所述视频片段的时空运动图沿着空间维度行池化，得到所述视频片段的时间运动图。

6.根据权利要求1所述的方法，其特征在于，所述根据视频片段序列和每个视频片段相应的运动信息，进行视频表征自监督对比学习，包括：

根据每个视频片段相应的运动信息对视频片段进行数据增强，根据增强后的视频片段序列并结合对比损失进行视频表征自监督对比学习；或者，

根据视频片段序列并结合运动对齐损失和对比损失进行运动聚焦的视频表征自监督对比学习；或者，

根据每个视频片段相应的运动信息对视频片段进行数据增强，根据增强后的视频片段序列并结合运动对齐损失和对比损失进行运动聚焦的视频表征自监督对比学习；

其中，所述运动对齐损失通过对齐进行学习的主干网络的最后卷积层的输出与视频片段相应的运动信息来确定。

7.根据权利要求6所述的方法，其特征在于，所述根据每个视频片段相应的运动信息对视频片段进行数据增强包括：

在视频片段相应的运动信息包括视频片段相应的时空运动图的情况下，根据时空运动图中各像素的运动速度的大小确定第一阈值，根据第一阈值确定视频片段中具备较大运动幅度的三维时空区域；或者，

在视频片段相应的运动信息包括视频片段相应的时间运动图的情况下，根据视频片段相应的时间运动图计算所述视频片段的运动幅度，对序列中的各视频片段进行时域采样，采样得到的视频片段的运动幅度不小于第二阈值，第二阈值根据各视频片段的运动幅度确定；或者，

在视频片段相应的运动信息包括视频片段相应的空间运动图的情况下，根据视频片段相应的空间运动图中各像素的运动速度的大小确定第三阈值，根据第三阈值对各像素进行划分，对空间运动图反复执行随机多尺度空间裁剪、并确保裁剪得到的矩形空间区域至少覆盖了超过预设比例的空间运动图中大于第三阈值的像素，对视频片段中的每一视频帧都裁剪与矩形空间区域相同的区域。