[发明专利]视频特征提取方法及应用该方法的视频量化方法

说明书

本发明涉及计算机视觉技术领域，尤其涉及视频特征提取方法及应用该方法的视频量化方法，提供了一种视频特征提取方法，以解决有效获得包含丰富上下文信息的视频特征的技术问题，同时提供了一种应用上述视频特征提取方法的视频量化方法。视频特征提取方法包括：从目标视频中提取原始视觉特征并构建原始特征矩阵，所述原始特征矩阵包含每帧采样图像的空间信息和每帧采样图像之间的时序信息；根据原始特征矩阵生成采样图像空间注意力热度图和采样图像时序注意力热度图；以及将原始特征矩阵、采样图像空间注意力热度图、采样图像时序注意力热度图相加融合得到目标特征矩阵。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及视频特征提取方法及应用该方法的视频量化方法。

背景技术

视频检索是计算机视觉中的一个基础又富有挑战性的问题，其目的是从海量的视频库中检索出与输入视频最相似的视频。而无监督的视频量化检索则是通过将原始无标签的视频的视觉特征压缩成紧凑的二进制码来实现视频的快速检索。

目前已知的一种无监督的视频量化检索方法是先使用卷积神经网络提取视频每帧图片的视觉特征信息，再使用循环神经网络处理这些帧的特征得到视频特征，然后使用哈希算法将特征信息压缩至极短的二进制编码，以此缩减数据库体积，加快检索速度。

上述方法存在两方面问题。第一，通过卷积神经网络和循环神经网络的方式难以获取长时间范围的信息，因此难以保留视频的上下文信息，无法获取更好的视频特征。第二，在大规模的视频库下，视频特征十分复杂，哈希算法难以获得好的准确率。

发明创造内容

本发明所要解决的技术问题是：提供一种视频特征提取方法，以解决有效获得包含丰富上下文信息的视频特征的技术问题，以及提供一种应用上述视频特征提取方法的视频量化方法。

本发明解决上述技术问题所采用的技术方案是：一种视频特征提取方法，包括：从目标视频中提取原始视觉特征并构建原始特征矩阵，所述原始特征矩阵包含每帧采样图像的空间信息和每帧采样图像之间的时序信息；根据原始特征矩阵生成采样图像空间注意力热度图和采样图像时序注意力热度图；以及将原始特征矩阵、采样图像空间注意力热度图、采样图像时序注意力热度图相加融合得到目标特征矩阵。

根据本说明书提供的实施例，根据原始特征矩阵生成采样图像空间注意力热度图包括：根据原始特征矩阵生成表示每帧采样图像中每个像素点和与该像素点处于同一行的其他所有像素点之间信息依赖关系的行维度注意力热度图；和根据原始特征矩阵生成表示每帧采样图像中每个像素点和与该像素点处于同一列的其他所有像素点之间信息依赖关系的列维度注意力热度图。

根据本说明书提供的实施例，根据原始特征矩阵生成采样图像时序注意力热度图包括：根据原始特征矩阵生成表示每帧采样图像中每个像素点和与该像素点处于同一时序的其他所有像素点之间信息依赖关系的时序维度注意力热度图。

根据本说明书提供的实施例，若设目标视频的原始特征矩阵O_i∈R^{T′×h×w×c}，其中h为视频每帧图像的高度、w为视频每帧图像的宽度、c为视频每帧图像的通道数、T′为采样图像帧数。则，根据原始特征矩阵生成表示每帧采样图像中每个像素点和与该像素点处于同一行的其他所有像素点之间信息依赖关系的行维度注意力热度图包括：将原始特征矩阵重塑为{T′×h}×w×c；分别采用三个尺寸为c*1*1的卷积核对重塑后的矩阵进行卷积操作，得到三个维度均为{T′×h}×w×c的特征矩阵r_θ，r_ρ，r_γ，其中c*1*1为通道数*高度*宽度；将所述三个特征矩阵r_θ，r_ρ，r_γ按公式进行运算，得到行维度注意力热度图r，其中是特征矩阵r_γ的转置矩阵。