[发明专利]视频表征自监督对比学习方法和装置

说明书

本公开提出一种视频表征自监督对比学习方法和装置，涉及视频学习领域。该方法包括：根据视频片段的每个视频帧相应的光流信息，计算得到所述视频片段的每个视频帧相应的运动幅度图；根据所述视频片段的各视频帧相应的运动幅度图，确定所述视频片段相应的运动信息；根据视频片段序列和每个视频片段相应的运动信息，进行视频表征自监督对比学习。从而实现用于视频表征自监督学习的运动聚焦对比学习方案，使得视频中广泛存在且十分重要的运动信息在学习过程中被充分根据，从而提升视频表征自监督对比学习性能。

技术领域

本公开涉及视频学习领域，特别涉及一种视频表征自监督对比学习方法和装置。

背景技术

视频表征自监督学习的目标是通过探索未经标注的视频中存在的内在属性来学习视频的特征表达。

一种视频表征自监督对比学习方法，其基于对比学习技术实现高效的自监督视频表征学习。然而，目前的视频表征自监督对比学习技术通常关注如何根据图像对比学习的研究成果提升对比学习性能。

发明内容

经研究发现，目前的视频表征自监督对比学习技术通常关注如何根据图像对比学习的研究成果提升对比学习性能，往往会忽视视频和图像之间存在的最关键的时间维度的差异，进而导致视频中广泛存在的运动信息没有得到充分的重视与根据，但是在实际场景中，视频的语义信息和运动信息是高度相关的。

本公开提出一种用于视频表征自监督学习的运动聚焦对比学习方案，使得视频中广泛存在且十分重要的运动信息在学习过程中被充分根据，从而提升视频表征自监督对比学习性能。

本公开一些实施例提出一种视频表征自监督对比学习方法，包括：

根据视频片段的每个视频帧相应的光流信息，计算得到所述视频片段的每个视频帧相应的运动幅度图；

根据所述视频片段的各视频帧相应的运动幅度图，确定所述视频片段相应的运动信息；

根据视频片段序列和每个视频片段相应的运动信息，进行视频表征自监督对比学习。

在一些实施例中，所述根据视频片段的每个视频帧相应的光流信息，计算得到所述视频片段的每个视频帧相应的运动幅度图，包括：

提取视频片段中每一对相邻视频帧之间的光流场，以确定所述视频片段的每个视频帧相应的光流场；

计算每个视频帧相应的光流场在第一方向和第二方向的梯度场；

将第一方向和第二方向的梯度场的幅值进行聚合得到每个视频帧相应的运动幅度图。

在一些实施例中，第一方向和第二方向相互垂直。

在一些实施例中，所述计算每个视频帧相应的光流场在第一方向和第二方向的梯度场包括：

计算每个视频帧相应的光流场的水平分量在第一方向和第二方向的梯度；

计算每个视频帧相应的光流场的垂直分量在第一方向和第二方向的梯度；

每个视频帧相应的光流场的水平分量和垂直分量在第一方向和第二方向的梯度，构成所述光流场在第一方向和第二方向的梯度场。

在一些实施例中，所述视频片段相应的运动信息包括：所述视频片段相应的时空运动图、空间运动图、时间运动图中的一项或多项；其中，

确定所述视频片段相应的时空运动图包括：在时间维度将视频片段的各视频帧的运动幅度图叠加构成所述视频片段的时空运动图；

确定所述视频片段相应的空间运动图包括：对所述视频片段的时空运动图沿着时间维度进行池化，得到所述视频片段的空间运动图；

确定所述视频片段相应的时间运动图包括：对所述视频片段的时空运动图沿着空间维度行池化，得到所述视频片段的时间运动图。