[发明专利]视频片段定位方法、装置、设备及存储介质

说明书

本申请公开了一种视频片段定位方法、装置、设备及存储介质，属于视频处理领域。方法包括：确定样本数据的样本结果、预测识别结果和预测定位结果；基于所述样本结果、所述预测识别结果和所述预测定位结果，分别对所述识别模型和所述定位模型进行训练，得到训练后的识别模型和训练后的定位模型；在获取到用于检索视频片段的文本的情况下，通过所述训练后的识别模型确定出候选视频中与所述文本匹配的目标视频，通过所述训练后的定位模型确定出所述目标视频中与所述文本匹配的目标视频片段。由于识别模型和定位模型学习到了更多的信息，因此，提高了识别模型和定位模型的准确信，进而提高了视频片段定位的准确性。

技术领域

本申请涉及视频处理领域，特别涉及一种视频片段定位方法、装置、设备及存储介质。

背景技术

随着视频应用的普及，越来越多的视频出现在网络中，为了方便用户找到感兴趣的视频，可以基于用户输入的能够描述该视频中某一视频片段的文本对视频进行检索，从而找到与该文本匹配的视频片段。

目前，在基于文本进行检索之前，需要分别训练识别模型和定位模型；而在基于文本进行检索时，通过识别模型从海量的视频中筛选出与该文本匹配的视频；再通过定位模型从筛选出的视频中定位出与该文本匹配的视频片段。

发明内容

本申请实施例提供了一种视频片段定位方法、装置、设备及存储介质，能够提高识别模型和定位模型的准确性以及视频片段定位的准确性。该技术方案如下：

一方面，提供了一种视频片段定位方法，所述方法包括：

确定样本数据的样本结果、预测识别结果和预测定位结果，所述样本数据包括样本文本和样本视频，所述预测识别结果通过待训练的识别模型对所述样本数据处理得到，用于表示所述样本视频和所述样本文本是否匹配，所述预测定位结果通过待训练的定位模型对所述样本数据处理得到，用于表示所述样本视频中与所述样本文本匹配的视频片段；

基于所述样本结果、所述预测识别结果和所述预测定位结果，分别对所述识别模型和所述定位模型进行训练，得到训练后的识别模型和训练后的定位模型；

在获取到用于检索视频片段的文本的情况下，通过所述训练后的识别模型确定出候选视频中与所述文本匹配的目标视频，通过所述训练后的定位模型确定出所述目标视频中与所述文本匹配的目标视频片段。

在一种可能实现方式中，所述识别模型包括静态特征提取层、动态特征提取层和预测层，所述通过所述训练后的识别模型确定出候选视频中与所述文本匹配的目标视频，包括：

通过所述静态特征提取层，对所述文本中多个词语进行静态特征提取，得到每个词语的词向量，对所述候选视频中多个视频帧进行静态特征提取，得到每个视频帧的视频帧特征；

通过动态特征提取层，对所述每个词语的词向量进行动态特征提取，得到所述文本的文本特征，对所述每个视频帧的视频帧特征进行动态特征提取，得到所述候选视频的视频特征；

通过所述预测层，基于所述文本特征和所述视频特征的关联度，确定所述候选视频的预测识别结果，所述预测识别结果表示所述候选视频是否为与所述文本匹配的目标视频。

在一种可能实现方式中，所述动态特征提取层为双向门控层，所述通过动态特征提取层，对所述每个词语的词向量进行动态特征提取，得到所述文本的文本特征，对所述每个视频帧的视频帧特征进行动态特征提取，得到所述候选视频的视频特征，包括：

通过所述双向门控层，对所述每个词语的词向量进行特征提取，得到所述文本特征；

通过所述双向门控层，对所述每个视频帧的视频帧特征进行特征提取，得到所述视频特征。

在一种可能实现方式中，所述通过所述训练后的定位模型确定出所述目标视频中与所述文本匹配的目标视频片段，包括：