[发明专利]视频片段检索方法、装置、介质与电子设备

说明书

本公开提供一种视频片段检索方法、装置、介质与电子设备。其中，视频片段检索方法包括：将原始视频分割为多个候选片段；提取每个所述候选片段的视觉特征；在获取到查询语句时，解析所述查询语句中的语义特征；将所述语义特征与所述候选片段的视觉特征进行融合，得到所述候选片段的融合特征；基于所述融合特征从所述多个候选片段中检索与所述查询语句匹配的视频片段。通过本公开实施例提供的技术方案，将视觉特征和语义特征进行融合得到融合特征，实现使文本与视觉结构之间互相增强以及相互补充，进一步基于融合特征从候选片段中检索与查询预计匹配的视频片段，有利于提升视频片段检索的精度。

技术领域

本公开涉及图像处理技术领域，具体而言，涉及一种视频片段检索方法、装置、计算机可存储介质与电子设备。

背景技术

随着数字设备的普及和社交媒体的发展，视频已经成为人们通信、娱乐中最流行的视觉媒体之一。然而，由于视频中包括复杂结构、不同类型的运动目标、大量和丰富的语义信息等参数，这些参数为自动地进行视频理解和应用带来了极大的挑战。因此，利用计算机来帮助人类处理、分析、理解、使用视频，满足现实社会的要求，成为了当前多媒体分析、计算机视觉领域的一个重要方向。

相关技术中，通过设置视频时间检索任务，即基于给定的查询语句，在一个给定的视频中寻找与查询语句匹配的视频片段，能够实现满足检索需求的视频片段的检索。然而，由于该任务主要基于整个视频的文本进行特征提取，因此导致视频片段的检索精度较低。

需要说明的是，在上述背景技术分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种视频片段检索方法、视频片段检索装置、介质与电子设备，用于至少在一定程度上克服由于相关技术的限制和缺陷而导致的视频片段的检索精度较低的问题。

根据本公开实施例的一方面，提供一种视频片段检索方法，包括：将原始视频分割为多个候选片段；提取每个所述候选片段的视觉特征；在获取到查询语句时，解析所述查询语句中的语义特征；将所述语义特征与所述候选片段的视觉特征进行融合，得到所述候选片段的融合特征；基于所述融合特征从所述多个候选片段中检索与所述查询语句匹配的视频片段。

在本公开的一种示例性实施例中，所述在获取到查询语句时，解析所述查询语句中的语义特征包括：将所述查询语句分割为不同的语义角色，获取所述语义角色的角色特征；基于全局-动词-名词的层级结构将所述语义角色构造为语义角色树；获取所述语义角色树中语义角色之间的关系特征；基于所述角色特征和所述关系特征生成所述查询语句的语义特征。

在本公开的一种示例性实施例中，将所述查询语句分割为不同的语义角色，获取所述语义角色的角色特征包括：基于语言表征模型将所述查询语句分割为所述语义角色；基于双向长短期记忆网络Bi-LSTM将所述语义角色对应的单词转化为嵌入向量；基于注意力机制策略与所述嵌入向量从所述语义角色树中获取所述全局的角色特征、所述动词的角色特征和所述名词的角色特征。

在本公开的一种示例性实施例中，所述基于全局-动词-名词的层级结构将所述语义角色构造为语义角色树包括：基于名词节点的语义角色，与对应的动词节点相连；以及将所述动词节点与全局节点相连，构造出所述语义角色树。

在本公开的一种示例性实施例中，所述获取所述语义角色树中语义角色之间的关系特征包括：基于平均池化操作获取所述语义角色树中相邻节点之间的传递信息，基于所述传递信息表示所述语义角色之间的关系特征。

在本公开的一种示例性实施例中，所述将所述语义特征与所述候选片段的视觉特征进行融合，得到所述候选片段的融合特征包括：基于预设的神经网络全连接层的超参数对所述语义特征进行预处理，得到预处理特征；基于激活函数将所述预处理特征转化为激活特征；将所述激活特征和所述视觉特征执行哈达玛积运算，得到所述候选片段的融合特征。