[发明专利]基于八度卷积的压缩视频动作识别方法

说明书

本发明实施例公开一种基于八度卷积的压缩视频动作识别方法，能够减少卷积特征映射和稠密模型参数的冗余度。该方法包括：S1、将待识别视频压缩为压缩视频，对所述压缩视频进行编码，将所述压缩视频划分为k个片段；S2、构建八度卷积模型；S3、对所述k个片段进行取样并输入所述八度卷积模型，根据交叉熵损失训练所述八度卷积模型，得到所述k段的片段级结果；S4、融合所述k个片段的片段级结果，得到所述待识别视频预测结果。本发明实施例用于压缩视频动作识别。

技术领域

本发明涉及视频处理领域，尤其涉及一种基于八度卷积的压缩视频动作识别方法。

背景技术

视频动作识别技术的目标是识别出给定视频中的不同的动作类别。在实际应用中，精确的动作识别有助于舆情监控，广告投放，以及很多其他视频理解相关的任务。由于视频内容和背景更加复杂多变，不同的动作类别之间具有相似性，而相同的类别在不同环境下又有着不同的特点，加之由于拍摄造成的遮挡、抖动、视角变化，影响动作识别。

相关的一种方法以卷积神经网络作为核心，实现压缩视频动作识别。但通过卷积神经网络进行压缩视频动作识别，存在卷积特征映射和稠密模型参数的冗余度问题。

发明内容

本发明实施例提供一种基于八度卷积的压缩视频动作识别方法，能够减少卷积特征映射和稠密模型参数的冗余度。

本发明实施例采用如下技术方案：

一种基于八度卷积的压缩视频动作识别方法，包括：

S1、将待识别视频压缩为压缩视频，对所述压缩视频进行编码，将所述压缩视频划分为k个片段；

S2、构建八度卷积模型；

S3、对所述k个片段进行取样并输入所述八度卷积模型，根据交叉熵损失训练所述八度卷积模型，得到所述k段的片段级结果；

S4、融合所述k个片段的片段级结果，得到所述待识别视频预测结果。

可选的，所述将待识别视频压缩为压缩视频，对所述压缩视频进行编码，将所述压缩视频划分为k个片段包括：

根据MPEG-4Part2将所述压缩视频分割为I帧、P帧和零个或多个B帧；其中，I帧为内部编码帧、P帧为预测帧、B帧为由运动矢量和残差组成的双向帧，I帧为常规图像，P帧编码前一帧到当前帧的变化，P帧由运动矢量和残差向量组成；

所述压缩视频包含I帧RGB图像、运动矢量和残差向量三种数据模式；其中，像素块从原始帧到目标帧的移动为所述运动矢量，所述运动矢量在所述待识别视频压缩过程中分为多个宏块，所述残差向量为当前帧与参考I帧之间去除运动矢量之后的RGB差，所述运动矢量为m，所述残差向量为r，I_i为所述压缩视频中的I帧，P_i+1为所述压缩视频中的P帧；

所述压缩视频为序列{I_i,P_i+1,K}，对所述压缩视频进行编码得到的编码视频为{I_i,I_i+1,...}，所述P帧重构为I_i+1：

I_i+1＝P_i+1+I_i

P_i+1＝m+r

其中，I帧、残差向量和P帧的大小为3*H*W，m的大小为2*H*W。

可选的，所述运动矢量在所述待识别视频压缩过程中分为8x8或者16x16 或者32x32个宏块。

可选的，所述将所述压缩视频划分为k段包括：

将所述压缩视频均匀划分为K个片段，并对所述K个片段序列进行建模获取长期运动的信息。