[发明专利]视频描述生成方法、装置、设备以及存储介质

权利要求书

1.一种视频描述生成方法，包括：

获取待处理的目标视频，所述目标视频包括多个目标对象；

提取所述目标视频的视觉特征；

根据所述目标视频的视觉特征获取所述目标视频的知识增强特征，所述知识增强特征包括所述目标视频的事件特征以及所述目标视频中目标对象之间的关系特征；

将所述目标视频的所述视觉特征以及所述知识增强特征输入视频描述生成模型，得到所述目标视频对应的视频描述文本；

所述将所述目标视频的所述视觉特征以及所述知识增强特征输入视频描述生成模型，得到所述目标视频对应的视频描述文本，包括：

将所述目标视频的所述视觉特征中的外观特征以及动作特征进行拼接，得到拼接后的特征；

将所述拼接后的特征、所述事件特征以及所述关系特征同时输入所述视频描述生成模型的编码模块进行编码处理，再通过所述视频描述生成模型的解码模块进行解码处理，获得所述目标视频对应的视频描述文本。

2.根据权利要求1所述的方法，其中，所述视觉特征包括外观特征、动作特征以及对象特征的至少一项；所述提取所述目标视频的视觉特征，包括：

采用二维卷积神经网络提取所述目标视频中每帧图像的外观特征；和/或

采用三维卷积神经网络提取所述目标视频中每帧图像的动作特征，所述动作特征用于指示目标对象的动作属性；和/或

采用目标检测算法提取所述目标视频中每帧图像的目标对象的对象特征。

3.根据权利要求1或2所述的方法，其中，所述根据所述目标视频的视觉特征获取所述目标视频的知识增强特征，包括：

根据所述目标视频的外观特征以及动作特征，获取所述目标视频的事件特征。

4.根据权利要求3所述的方法，其中，所述根据所述目标视频的外观特征以及动作特征，获取所述目标视频的事件特征，包括：

将所述目标视频的外观特征以及动作特征进行拼接，得到拼接后的特征；

将所述拼接后的特征输入事件检测模型，得到所述目标视频对应的事件类型；

根据预先构建的事件知识图谱以及所述目标视频对应的事件类型，获取所述目标视频对应的事件类型的向量表示；所述事件知识图谱包括多种事件类型的向量表示。

5.根据权利要求1或2所述的方法，其中，所述根据所述目标视频的视觉特征获取所述目标视频的知识增强特征，包括：

根据所述目标视频中每帧图像的对象特征，获取所述目标视频中目标对象之间的关系特征。

6.根据权利要求1所述的方法，其中，所述目标对象之间的关系特征包括单帧图像中目标对象之间的关系特征以及帧间图像目标对象之间的关系特征的至少一项。

7.根据权利要求5所述的方法，其中，所述根据所述目标视频中每帧图像的对象特征，获取所述目标视频中目标对象之间的关系特征，包括：

将所述目标视频中每帧图像的对象特征输入预设的对象关系编码器，获取所述目标视频中每帧图像中目标对象之间的关系特征。

8.根据权利要求5所述的方法，其中，所述根据所述目标视频中每帧图像的对象特征，获取所述目标视频中目标对象之间的关系特征，包括：

将所述目标视频中每帧图像的对象特征输入预设的对象关系编码器，获取所述目标视频中每帧图像中目标对象之间的关系特征；

根据所述目标视频中每帧图像中目标对象之间的关系特征，以及所述目标视频中每帧图像的对象特征，获取所述目标视频中帧间图像目标对象之间的关系特征。

9.根据权利要求8所述的方法，其中，所述根据所述目标视频中每帧图像中目标对象之间的关系特征，以及所述目标视频中每帧图像的对象特征，获取所述目标视频中帧间图像目标对象之间的关系特征，包括：

将所述目标视频中每帧图像的目标对象之间的关系特征，以及所述目标视频中每帧图像的对象特征输入图卷积网络，获取所述目标视频中帧间图像目标对象之间的关系特征。