[发明专利]视频特征提取方法及应用该方法的视频量化方法

权利要求书

1.视频特征提取方法，其特征在于，包括：

从目标视频中提取原始视觉特征并构建原始特征矩阵，所述原始特征矩阵包含每帧采样图像的空间信息和每帧采样图像之间的时序信息；

根据原始特征矩阵生成采样图像空间注意力热度图和采样图像时序注意力热度图；以及

将原始特征矩阵、采样图像空间注意力热度图、采样图像时序注意力热度图相加融合得到目标特征矩阵。

2.如权利要求1所述的视频特征提取方法，其特征在于，

A)根据原始特征矩阵生成采样图像空间注意力热度图包括：

根据原始特征矩阵生成表示每帧采样图像中每个像素点和与该像素点处于同一行的其他所有像素点之间信息依赖关系的行维度注意力热度图；和

根据原始特征矩阵生成表示每帧采样图像中每个像素点和与该像素点处于同一列的其他所有像素点之间信息依赖关系的列维度注意力热度图；

并且/或者，

B)根据原始特征矩阵生成采样图像时序注意力热度图包括：

根据原始特征矩阵生成表示每帧采样图像中每个像素点和与该像素点处于同一时序的其他所有像素点之间信息依赖关系的时序维度注意力热度图。

3.如权利要求2所述的视频特征提取方法，其特征在于：

若设目标视频的原始特征矩阵o_i∈R^{T′×h×w×c}，其中h为视频每帧图像的高度、w为视频每帧图像的宽度、c为视频每帧图像的通道数、T′为采样图像帧数，则

A)根据原始特征矩阵生成表示每帧采样图像中每个像素点和与该像素点处于同一行的其他所有像素点之间信息依赖关系的行维度注意力热度图包括：

将原始特征矩阵重塑为{T′×h}×w×c；分别采用三个尺寸为c*1*1的卷积核对重塑后的矩阵进行卷积操作，得到三个维度均为{T′×h}×w×c的特征矩阵r_θ，r_ρ，r_γ，其中c*1*1为通道数*高度*宽度；将所述三个特征矩阵r_θ，r_ρ，r_γ按公式进行运算，得到行维度注意力热度图r，其中是特征矩阵r_γ的转置矩阵；

并且/或者，

B)根据原始特征矩阵生成表示每帧采样图像中每个像素点和与该像素点处于同一列的其他所有像素点之间信息依赖关系的列维度注意力热度图包括：

将原始特征矩阵重塑为{T′×w}×h×c；分别采用三个尺寸为c*1*1的卷积核对重塑后的矩阵进行卷积操作，得到三个维度均为{T′×w}×h×c的三个特征矩阵c_θ，c_ρ，c_γ，其中c*1*1为通道数*高度*宽度；将所述三个特征矩阵c_θ，c_ρ，c_γ按公式进行运算，得到列维度注意力热度图c，其中为特征矩阵c_γ的转置矩阵；

并且/或者，

C)根据原始特征矩阵生成表示每帧采样图像中每个像素点和与该像素点处于同一时序的其他所有像素点之间信息依赖关系的时序维度注意力热度图包括：

将原始特征矩阵重塑为{w×h}×T′×c；分别采用三个1*1的卷积核对重塑后的矩阵进行卷积操作，得到维度均为{w×h}×T′×c的三个特征矩阵t_θ，t_ρ，t_y；将所述三个特征矩阵t_θ，t_ρ，t_γ按公式进行运算，得到时序维度注意力热度图t，其中为特征矩阵t_γ的转置矩阵。

4.视频量化方法，其特征在于，包括：

根据权利要求1、2或3所述的视频特征提取方法得到目标特征矩阵；

将目标特征矩阵转变为代表目标视频的特征向量；以及

将特征向量压缩成二进制编码实现视频量化。