[发明专利]视频语义表示方法、装置、电子设备和存储介质

权利要求书

1.一种视频语义表示方法，其特征在于，包括：

获取待表示视频的视频文本信息和多个视频帧；

分别利用视频语义表示模型的文本编码器和图片编码器对所述视频文本信息和所述多个视频帧进行语义提取，得到所述视频文本信息的文本语义向量和所述多个视频帧的帧语义向量；

利用所述视频语义表示模型的多模态融合器，对所述文本语义向量和所述多个视频帧的帧语义向量进行多模态融合，得到所述待表示视频的视频语义表示；

其中，所述视频语义表示模型是基于样本视频的样本文本信息和多个样本视频帧进行自监督学习得到的，所述视频语义表示模型的图片编码器和文本编码器是基于样本图片以及所述样本图片的描述文本预先进行联合训练得到的。

2.根据权利要求1所述的视频语义表示方法，其特征在于，所述利用所述视频语义表示模型的多模态融合器，对所述文本语义向量和所述多个视频帧的帧语义向量进行多模态融合，得到所述待表示视频的视频语义表示，具体包括：

对所述多个视频帧的帧语义向量进行语义融合，得到帧融合向量；

对所述文本语义向量和所述帧融合向量进行多模态融合，得到所述待表示视频的视频语义表示。

3.根据权利要求2所述的视频语义表示方法，其特征在于，所述对所述文本语义向量和所述帧融合向量进行多模态融合，得到所述待表示视频的视频语义表示，具体包括：

基于所述文本语义向量的自相关性，以及所述文本语义向量和所述帧融合向量之间的互相关性，提取所述文本语义向量的文本关键语义向量以及所述帧融合向量的帧关键语义向量；

将所述文本关键语义向量和所述帧关键语义向量进行语义融合，得到所述待表示视频的视频语义表示。

4.根据权利要求3所述的视频语义表示方法，其特征在于，所述基于所述文本语义向量的自相关性，以及所述文本语义向量和所述帧融合向量之间的互相关性，提取所述文本语义向量的文本关键语义向量以及所述帧融合向量的帧关键语义向量，具体包括：

基于所述多模态融合器的自注意力交互层，对所述文本语义向量进行自注意力变换，得到所述文本语义向量的文本关键语义向量；

基于所述多模态融合器的交叉注意力交互层，对所述文本关键语义向量和所述帧融合向量进行交叉注意力变换，得到所述帧融合向量的帧关键语义向量。

5.根据权利要求1所述的视频语义表示方法，其特征在于，所述视频语义表示模型的损失函数包括词预测损失和图文匹配损失；

其中，所述词预测损失用于表征所述视频语义表示模型对所述样本文本信息中被替换为标签的词的预测结果与所述样本文本信息中被替换为标签的词之间的差异；

所述图文匹配损失用于表征所述视频语义表示模型预测所述样本文本信息的语义和所述多个样本视频帧的语义是否匹配的准确度。

6.根据权利要求1所述的视频语义表示方法，其特征在于，所述视频语义表示模型的图片编码器和文本编码器是基于样本图片以及所述样本图片的描述文本进行对比学习得到的，所述对比学习的学习目标为任一样本图片的图片编码结果与所述任一样本图片的描述文本的文本编码结果之间的相似度高于所述任一样本图片的图片编码结果与任一其他样本图片的描述文本的文本编码结果之间的相似度。

7.根据权利要求1至6任一项所述的视频语义表示方法，其特征在于，所述多个视频帧是对所述待表示视频进行关键帧抽取后得到的。