[发明专利]一种时序提名的生成方法、装置、设备及介质

说明书

本公开提供了一种时序提名的生成方法、装置、设备及介质，涉及人工智能技术领域，尤其涉及计算机视觉和深度学习技术领域，具体可用于视频分析场景下，包括：提取待处理视频对应的目标图像特征序列，并根据目标图像特征序列，获取多个候选时序提名；根据目标图像特征序列，获取包括动作特征和背景特征间差异信息的动作关联特征和背景关联特征；进而根据动作关联特征和背景关联特征，获取各候选时序提名的动作得分和背景得分；并最终根据各动作得分和背景得分，在各候选时序提名中确定与待处理视频对应的目标时序提名。本公开实施例的技术方案，通过在时序提名评估阶段充分利用动作和背景的差异性，提高了获取目标时序提名的精准度和召回率。

技术领域

本公开涉及人工智能技术领域，尤其涉及计算机视觉和深度学习技术领域，具体可用于视频分析场景下，具体涉及一种时序提名的生成方法、装置、设备及介质。

背景技术

时序动作定位，即根据视频内容，在输入的未分割视频中定位行为片段；其中，生成的行为片段即为时序提名(proposal)，在视频集锦生成、视频推荐以及检索等方面具有巨大应用潜力。

目前，现有的时序提名生成方法，通常先对输入的视频特征序列进行简单的时序信息融合，然后使用基于边界预测的方法或者基于预定义锚点框回归的方法，生成可能包含人体动作的大量候选时序提名，最后对生成的大量候选时序提名进行置信度评估，以确定最终的目标时序提名。

然而，现有技术在时序提名评估阶段，仅通过动作信息评估各候选时序提名的置信度，容易导致获取的目标时序提名存在准确度和召回率低的问题；特别的，对于包含多个动作片段的候选时序提名，易因为较高置信度而被确定为目标时序提名，形成错误的正例，进一步降低了目标时序提名的获取准确度。

发明内容

本公开提供了一种时序提名的生成方法、装置、设备及介质。

根据本公开的一方面，提供了一种时序提名的生成方法，所述方法包括：

提取待处理视频对应的目标图像特征序列，并根据所述目标图像特征序列，获取所述待处理视频对应的至少一个候选时序提名；

根据所述目标图像特征序列，获取所述待处理视频匹配的动作关联特征和背景关联特征；

其中，动作关联特征和背景关联特征中包括所述待处理视频中的动作特征与背景特征之间的差异信息；

根据所述动作关联特征和背景关联特征，获取各候选时序提名的动作得分和背景得分；

根据所述各候选时序提名的动作得分和背景得分，在各候选时序提名中确定与所述待处理视频对应的目标时序提名。

根据本公开的另一方面，提供了一种时序提名的生成装置，所述装置包括：

候选时序提名获取模块，用于提取待处理视频对应的目标图像特征序列，并根据所述目标图像特征序列，获取所述待处理视频对应的至少一个候选时序提名；

关联特征获取模块，用于根据所述目标图像特征序列，获取所述待处理视频匹配的动作关联特征和背景关联特征；

其中，动作关联特征和背景关联特征中包括所述待处理视频中的动作特征与背景特征之间的差异信息；

得分获取模块，用于根据所述动作关联特征和背景关联特征，获取各候选时序提名的动作得分和背景得分；

目标时序提名确定模块，用于根据所述各候选时序提名的动作得分和背景得分，在各候选时序提名中确定与所述待处理视频对应的目标时序提名。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，