[发明专利]基于八度卷积的压缩视频动作识别方法

权利要求书

1.一种基于八度卷积的压缩视频动作识别方法，其特征在于，包括：

S1、将待识别视频压缩为压缩视频，对所述压缩视频进行编码，将所述压缩视频划分为k个片段；

S2、构建八度卷积模型；

S3、对所述k个片段进行取样并输入所述八度卷积模型，根据交叉熵损失训练所述八度卷积模型，得到所述k段的片段级结果；

S4、融合所述k个片段的片段级结果，得到所述待识别视频预测结果；所述将待识别视频压缩为压缩视频，对所述压缩视频进行编码，将所述压缩视频划分为k个片段包括：

根据MPEG-4Part2将所述压缩视频分割为I帧、P帧和零个或多个B帧；其中，I帧为内部编码帧、P帧为预测帧、B帧为由运动矢量和残差组成的双向帧，I帧为常规图像，P帧编码前一帧到当前帧的变化，P帧由运动矢量和残差向量组成；

所述压缩视频包含I帧RGB图像、运动矢量和残差向量三种数据模式；其中，像素块从原始帧到目标帧的移动为所述运动矢量，所述运动矢量在所述待识别视频压缩过程中分为多个宏块，所述残差向量为当前帧与参考I帧之间去除运动矢量之后的RGB差，所述运动矢量为m，所述残差向量为r，I_i为所述压缩视频中的I帧，P_i+1为所述压缩视频中的P帧；

所述压缩视频为序列{I_i,P_i+1,K}，对所述压缩视频进行编码得到的编码视频为{I_i,I_i+1,...}，所述P帧重构为I_i+1：

I_i+1＝P_i+1+I_i

P_i+1＝m+r

其中，I帧、残差向量和P帧的大小为3*H*W，m的大小为2*H*W。

2.根据权利要求1所述的方法，其特征在于，所述运动矢量在所述待识别视频压缩过程中分为8x 8或者16x16或者32x32个宏块。

3.根据权利要求1至2中任一项所述的方法，其特征在于，所述将所述压缩视频划分为k段包括：

将所述压缩视频均匀划分为K个片段，并对所述K个片段序列进行建模获取长期运动的信息。

4.根据权利要求1所述的方法，其特征在于，所述构建八度卷积模型包括：

根据下式构建所述八度卷积模型：

H＝f_H→H(H)+upsample(f_L→H(L))

L＝f_H→L(pool(H))+f_L→L(L)

其中unsample和pool对应于上采样和池化操作，f_H→H,f_L→L表示信息更新，H为高频，L为低频，f_H→L,f_L→H表示高频与低频两个频率之间的信息交换。

5.根据权利要求1或2所述的方法，其特征在于，所述根据交叉熵损失训练所述八度卷积模型包括：

对所述八度卷积的不同的信道分配给低频的比例α值设置为0.5。

6.根据权利要求5所述的方法，其特征在于，所述根据交叉熵损失训练所述八度卷积模型包括：

根据深度学习编译器TVM训练所述八度卷积模型。

7.根据权利要求6所述的方法，其特征在于，训练所述八度卷积模型过程中，用交叉熵损失进行反向传播，更新优化所述八度卷积模型参数。