[发明专利]视频帧描述信息的获取方法、装置及电子设备

权利要求书

1.一种视频帧描述信息的获取方法，其特征在于，包括：

获取目标视频的单帧特征和基于柯西分布的相关帧特征；

将所述目标视频的单帧特征和所述基于柯西分布的相关帧特征进行融合，得到所述目标视频的视频帧序列；

将所述目标视频的视频帧序列输入预设神经网络，得到单词序列；

根据所述单词序列得到所述目标视频的描述信息。

2.根据权利要求1所述的视频帧描述的获取方法，其特征在于，所述将目标视频的视频帧序列输入预设神经网络，得到单词序列，包括：

将视频帧序列进行编码，用多个潜在向量一一对应地表示视频帧的多个特征信息；

对所述多个特征信息进行解码，得到所述单词序列。

3.根据权利要求2所述的视频帧描述的获取方法，其特征在于，所述根据所述单词序列得到所述目标视频的描述信息，包括：

获取预设主题模型和注意力机制；

基于所述预设主题模型和所述注意力机制对所述单词序列进行处理，得到所述目标视频的描述信息。

4.根据权利要求3所述的视频帧描述的获取方法，其特征在于，所述获取预设主题模型，包括：

对所述目标视频的视频帧进行随机采样得到多个采样帧；

对所述多个采样帧分别添加语言描述；

根据所述多个采样帧分别添加的标注描述进行主题模型建模，得到所述预设主题模型。

5.根据权利要求4所述的视频帧描述的获取方法，其特征在于，所述预设神经网络为长短期记忆神经网络LSTM。

6.根据权利要求3所述的视频帧描述的获取方法，其特征在于，所述注意力机制用于计算每一帧主题词对于此帧描述的贡献度。

7.根据权利要求4所述的视频帧描述的获取方法，其特征在于，所述采样帧为10帧。

8.一种视频帧描述信息的获取装置，其特征在于，包括：

获取模块，用于获取目标视频的单帧特征和基于柯西分布的相关帧特征；

融合模块，用于将所述目标视频的单帧特征和所述基于柯西分布的相关帧特征进行融合，得到所述目标视频的视频帧序列；

处理模块，用于将所述目标视频的视频帧序列输入预设神经网络，得到单词序列，并根据所述单词序列得到所述目标视频的描述信息。

9.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器和至少一个存储器；

所述存储器用于存储一个或多个程序指令；

所述处理器，用于运行一个或多个程序指令，用以执行如权利要求1-7任一项所述的视频帧描述信息的获取方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1-7任一项所述的视频帧描述信息的获取方法。