[发明专利]视频帧描述信息的获取方法、装置及电子设备

说明书

本发明实施例公开了视频帧描述信息的获取方法、装置和电子设备，该获取方法包括：获取目标视频的单帧特征和基于柯西分布的相关帧的特征；将所述目标视频的单帧特征和所述基于柯西分布的相关帧的特征进行融合，得到所述目标视频的视频帧序列；将所述目标视频的视频帧序列输入预设神经网络，得到单词序列；根据所述单词序列得到所述目标视频的描述信息。本发明利用主题感知生成视频帧描述方法得到了逻辑通顺、语义连贯、主题明确的帧描述。

技术领域

本发明实施例涉及视频处理技术领域，具体涉及视频帧描述信息的获取方法、装置及电子设备。

背景技术

面对视频数据爆炸性增加，面对如此多的视频信息，我们能对视频信息进行精准的描述有助于视频任务的检索，将视频域转化为语言域，加速检索任务。智能化机器人可以利用视频描述提取出一系列指令完成一些重复性工作，使其执行视频事件复现任务。视频描述的研究对现今社会的数据挖掘和智能化机器人领域具有重要意义。提升视频描述的准确度、逻辑性、艺术性也有着十分迫切的需求。总之，视频描述的研究为视觉领域和语言领域建立了一座“沟通”的桥梁。

在视频帧描述时可以借鉴图像描述优秀的算法，Fang等人将图像描述设计成三个环节，第一步采用CNN获取图像中每一个部分与其相对应的动词、名词和形容词等，第二步利用最大熵语言模型(Maximum Entropy Language Model，MELM)生成图像的描述；第三步借助最小错误率训练(Minimum Error Rate Training，MERT)对得到得到句子评分和排序。Kiros等人提出采用CNN和LSTM(Long short-term memory network)对图像编码，得到视觉特征。接着使用该论文提出的SC-NLM(Structure-Content Neural Language Model)对语句结构进行预测使之实现解码。这些方法主要是将描述任务划分为几个环节，缺乏连续性。

对于视频描述，更是计算机视觉中广泛研究的焦点问题。大多数方法使用在图像分类或动作识别上预训练的CNN来生成特征。与视频理解方法类似，这些方法利用基于帧的特征聚合(如Resnet或TSN)或整个视频(如C3D)上的滑动窗口来生成视频级特征。然后将这些特征传递给递归神经网络(LSTM)，利用通过学习的语言模型生成视频描述。提取的视觉特征应表示视频的时间结构和单帧场景的静态语义。但是，大多数方法都不能解决时序上相关信息提取的问题。

发明内容

本发明实施例的目的在于提供视频帧描述信息的获取方法、装置及电子设备，用以解决现有描述缺乏逻辑性，以及句子描述的主题不突出的问题。

为实现上述目的，本发明实施例主要提供如下技术方案：

第一方面，本发明实施例提供了一种视频帧描述信息的获取方法，包括：

获取目标视频的单帧特征和基于柯西分布的相关帧特征；

将所述目标视频的单帧特征和所述基于柯西分布的相关帧特征进行融合，得到所述目标视频的视频帧序列；

将所述目标视频的视频帧序列输入预设神经网络，得到单词序列；

根据所述单词序列得到所述目标视频的描述信息。

根据本发明的一个实施例，所述将目标视频的视频帧序列输入预设神经网络，得到单词序列，包括：

将视频帧序列进行编码，用多个潜在向量一一对应地表示视频帧的多个特征信息；

对所述多个特征信息进行解码，得到所述单词序列。

根据本发明的一个实施例，所述根据所述单词序列得到所述目标视频的描述信息，包括：

获取预设主题模型和注意力机制；

基于所述预设主题模型和所述注意力机制对所述单词序列进行处理，得到所述目标视频的描述信息。