[发明专利]一种视频帧序列的处理方法及装置

说明书

本申请公开了一种视频帧序列的处理方法及装置。其中视频帧序列的处理方法，包括：获取待处理的视频帧序列；将所述视频帧序列进行镜头分割，获取镜头帧序列；以所述镜头帧序列中的每一帧作为第一节点，根据所述镜头帧序列的帧间相似度连接第一节点，构建所述镜头帧序列的图；针对所述图中的第一节点执行卷积计算和池化计算，获取第二节点的第一特征向量和第一拓扑结构，所述第二节点通过针对所述第一节点执行卷积计算获得；根据所述第一特征向量和第一拓扑结构，获取由所述视频帧序列组成的第一视频在镜头层的第一特征表达。采用本申请提供的方法，解决了现有视频建模技术中，无法对复杂视频进行建模，而且对时长较长的视频建模效果不好的问题。

技术领域

本申请涉及视频信息挖掘领域，具体涉及一种视频帧序列的处理方法及装置。

背景技术

视频占据了互联网流量的80％，对视频进行理解和结构化，越来越受到学术界和工业界的关注。

当前的技术方案中，常使用LSTM针对视频建模。LSTM(Long Short-Term Memory)是长短期记忆网络，是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。但是，LSTM无法对复杂视频进行建模，而且LSTM的表达能力有限，对时长较长的视频建模效果不好。

发明内容

本申请提供一种视频帧序列的处理方法及装置，以解决现有视频建模技术中，无法对复杂视频进行建模，而且对时长较长的视频建模效果不好的问题。

根据本申请另一个方面，提供一种数据处理方法，生成相似度满足预设要求的片段帧序列。

本申请提供一种视频帧序列的处理方法，包括：

获取待处理的视频帧序列；

将所述视频帧序列进行镜头分割，获取镜头帧序列；

以所述镜头帧序列中的每一帧作为第一节点，根据所述镜头帧序列的帧间相似度连接所述第一节点，构建所述镜头帧序列的图；

针对所述图中的第一节点执行卷积计算和池化计算，获取第二节点的第一特征向量和第一拓扑结构，所述第二节点通过针对所述第一节点执行卷积计算获得；

根据所述第一特征向量和第一拓扑结构，获取由所述视频帧序列组成的第一视频在镜头层的第一特征表达。

可选的，所述将所述视频帧序列进行镜头分割，获取镜头帧序列，包括：

利用深度卷积网络对所述视频帧序列进行图像特征提取，获取所述视频帧序列中帧的第二特征向量；

根据所述第二特征向量，构建所述视频帧序列的帧间相似矩阵；

在所述帧间相似矩阵的对角线上确定连续帧，所述连续帧作为所述镜头帧序列。

可选的，所述针对所述图中的第一节点执行卷积计算和池化计算，获取第二节点的第一特征向量和第一拓扑结构，包括：

利用平均池化算法针对所述图中的第一节点执行卷积计算，获取第二节点的第一特征向量。

可选的，所述针对所述图中的第一节点执行卷积计算和池化计算，获取第二节点的第一特征向量和第一拓扑结构，包括：

利用基于自注意力机制的池化方法针对所述图中的第一节点执行池化计算，获取第二节点的第一拓扑结构。

可选的，还包括：

针对所述第二节点执行卷积计算和池化计算，获取第三节点的第三特征向量和第二拓扑结构；

根据所述第三特征向量和第二拓扑结构，获取所述第一视频在事件层的第二特征表达。

可选的，还包括：