[发明专利]视频描述生成方法、装置、设备以及存储介质

说明书

本公开提供了视频描述生成方法、装置、设备以及存储介质，涉及人工智能领域，尤其涉及知识图谱、深度学习、计算机视觉、视频处理等技术领域。具体实现方案为：获取待处理的目标视频，通过提取目标视频的视觉特征，并根据目标视频的视觉特征获取目标视频的知识增强特征，再将目标视频的视觉特征以及知识增强特征作为视频描述生成模型的输入，获取模型输出的目标视频对应的视频描述文本。其中，目标视频的知识增强特征包括目标视频的事件特征以及目标视频中目标对象之间的关系特征的至少一项。上述过程引入知识增强特征，可提升模型对视频语义的深层理解，从而生成高质量的视频描述文本。

技术领域

本公开涉及人工智能领域的知识图谱、深度学习、计算机视觉、视频处理等技术领域，尤其涉及一种视频描述生成方法、装置、设备以及存储介质。

背景技术

视频描述生成(video captioning)是利用机器学习技术，将视频生成对应的自然语言语句，其广泛适用于人机交互场景，如帮助视力受损人员进行视频内容的描述、视频标题或摘要生成等。

相关技术中，视频描述生成大多是基于序列到序列(sequence to sequence)的生成方法，其主要做法是采用编码器-解码器(encoder-decode)框架，通过编码器编码视频，再通过解码器生成文本序列。然而，相关技术对视频的特征分析不够全面，进而影响视频描述的质量。

发明内容

本公开提供了一种视频描述生成方法、装置、设备以及存储介质。

根据本公开的第一方面，提供了一种视频描述生成方法，包括：

获取待处理的目标视频，所述目标视频包括多个目标对象；

提取所述目标视频的视觉特征；

根据所述目标视频的视觉特征获取所述目标视频的知识增强特征，所述知识增强特征包括所述目标视频的事件特征以及所述目标视频中目标对象之间的关系特征的至少一项；

将所述目标视频的所述视觉特征以及所述知识增强特征输入视频描述生成模型，得到所述目标视频对应的视频描述文本。

根据本公开的第二方面，提供了一种视频描述生成装置，包括：

获取模块，用于获取待处理的目标视频，所述目标视频包括多个目标对象；

特征提取模块，用于提取所述目标视频的视觉特征；

特征分析模块，用于根据所述目标视频的视觉特征获取所述目标视频的知识增强特征，所述知识增强特征包括所述目标视频的事件特征以及所述目标视频中目标对象之间的关系特征的至少一项；

处理模块，用于将所述目标视频的所述视觉特征以及所述知识增强特征输入视频描述生成模型，得到所述目标视频对应的视频描述文本。

根据本公开的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面所述的方法。

根据本公开的第五方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法。

根据本公开的技术可提高视频描述文本的质量。