[发明专利]一种视频帧序列的处理方法及装置

权利要求书

1.一种视频帧序列的处理方法，其特征在于，包括：

获取待处理的视频帧序列；

将所述视频帧序列进行镜头分割，获取镜头帧序列；

以所述镜头帧序列中的每一帧作为第一节点，根据所述镜头帧序列的帧间相似度连接所述第一节点，构建所述镜头帧序列的图；

针对所述图中的第一节点执行卷积计算和池化计算，获取第二节点的第一特征向量和第一拓扑结构；

根据所述第一特征向量和第一拓扑结构，获取由所述视频帧序列组成的第一视频在镜头层的第一特征表达。

2.根据权利要求1所述的视频帧序列的处理方法，其特征在于，所述将所述视频帧序列进行镜头分割，获取镜头帧序列，包括：

利用深度卷积网络对所述视频帧序列进行图像特征提取，获取所述视频帧序列中帧的第二特征向量；

根据所述第二特征向量，构建所述视频帧序列的帧间相似矩阵；

在所述帧间相似矩阵的对角线上确定连续帧，所述连续帧作为所述镜头帧序列。

3.根据权利要求1所述的视频帧序列的处理方法，其特征在于，所述针对所述图中的第一节点执行卷积计算和池化计算，获取第二节点的第一特征向量和第一拓扑结构，包括：

针对所述图中的第一节点执行卷积计算，获取第二节点的第一特征向量。

4.根据权利要求1所述的视频帧序列的处理方法，其特征在于，所述针对所述图中的第一节点执行卷积计算和池化计算，获取第二节点的第一特征向量和第一拓扑结构，包括：

利用基于自注意力机制的池化方法针对所述图中的第一节点执行池化计算，获取第二节点的第一拓扑结构。

5.根据权利要求1所述的视频帧序列的处理方法，其特征在于，还包括：

针对所述第二节点执行卷积计算和池化计算，获取第三节点的第三特征向量和第二拓扑结构；

根据所述第三特征向量和第二拓扑结构，获取所述第一视频在事件层的第二特征表达。

6.根据权利要求5所述的视频帧序列的处理方法，其特征在于，还包括：针对所述第三节点执行卷积计算和池化计算，获取第四节点的第四特征向量和第三拓扑结构；

根据所述第四特征向量和第三拓扑结构，获取所述第一视频在视频层的第三特征表达。

7.根据权利要求6所述的视频帧序列的处理方法，其特征在于，还包括：

将所述第四特征向量输入MoE模型进行训练，获取所述第一视频的类标签，所述类标签用于针对所述第一视频进行分类。

8.根据权利要求1所述的视频帧序列的处理方法，其特征在于，所述获取镜头帧序列，包括：

利用深度卷积网络对所述视频帧序列进行图像特征提取，获取所述视频帧序列中帧的特征向量；

根据所述特征向量，构建所述视频帧序列的帧间相似矩阵；

在所述帧间相似矩阵的对角线上确定连续帧，所述连续帧作为所述镜头帧序列。

9.一种视频帧序列的处理装置，其特征在于，包括：

帧序列获取单元，用于获取待处理的视频帧序列；

分割单元，用于将所述视频帧序列进行镜头分割，获取镜头帧序列；

构建单元，用于以所述镜头帧序列中的每一帧作为第一节点，根据所述镜头帧序列的帧间相似度连接所述第一节点，构建所述镜头帧序列的图；

计算单元，用于针对所述图中的第一节点执行卷积计算和池化计算，获取第二节点的第一特征向量和第一拓扑结构；

特征表达获取单元，用于根据所述第一特征向量和第一拓扑结构，获取由所述视频帧序列组成的第一视频在镜头层的第一特征表达。