[发明专利]一种视频特征提取方法

权利要求书

1.一种视频特征提取方法，其特征在于，包括：

获取视频帧图像，并抽取所述视频帧图像中的关键帧图像；

根据所述关键帧图像获得光流图像；

将所述关键帧图像和所述光流图像进行融合得到融合图像；

将所述融合图像输入预先训练好的CNN特征提取模型进行特征提取，获得视频特征。

2.根据权利要求1所述的视频特征提取方法，其特征在于，所述抽取所述视频帧图像中的关键帧图像，包括：

按照预设频率，周期性地从所述视频帧图像中抽取一帧图像作为关键帧图像。

3.根据权利要求1所述的视频特征提取方法，其特征在于，所述根据所述关键帧图像获得光流图像，包括：

在连续的10帧关键帧图像中，分别在前5帧图像中随机抽取1帧图像，在后5帧图像中随机抽取1帧图像，根据抽取的2帧图像关键帧图像获得光流的水平向量和垂直向量，将所述水平向量和垂直向量作为光流图像的第一维和第二维数据，并增加第三维数据，且将光流图像的第三维数据的数值设置为0，获得所述10帧关键帧图像所对应的光流图像。

4.根据权利要求3所述的视频特征提取方法，其特征在于，所述将所述关键帧图像和所述光流图像进行融合，包括：

将每一帧关键帧图像与其对应的光流图像的3维数值分别进行取均值，将均值作为融合图像的3维数值，获得融合图像。

5.根据权利要求1所述的视频特征提取方法，其特征在于，所述CNN特征提取模型包括Resnet-50结构，所述Resnet-50结构包括依次连接的输入层、layer0、layer1、layer2、layer3、layer4；

所述输入层用于对输入所述CNN特征提取模型的融合图像进行L2正则化；

所述layer0由一个核为7*7、步距为2的卷积层、一个BN层、一个Relu层以及一个3*3最大值池化、步长为2的池化层构成；

所述layer1包括依次连接的3个残差块，所述layer2包括依次连接的4个残差块，所述layer3包括依次连接的6个残差块，所述layer4包括依次连接的3个残差块。

6.根据权利要求5所述的视频特征提取方法，其特征在于，所述layer1～layer4的残差块均包括一个信道注意力模块、一个运动注意力模块以及依次连接的3个卷积模块，所述信道注意力模块用于提取输入残差块的图像的信道注意力特征获得一个信道注意力特征图，所述运动注意力模块用于提取输入残差块的图像的运动注意力特征获得一个运动注意力特征图，提取的所述信道注意力特征图和所述运动注意力特征图进行逐像素叠加后输入所述3个卷积模块依次进行卷积处理获得一个卷积特征图，并将所述卷积特征图与输入残差块的图像进行叠加后输出。

7.根据权利要求6所述的视频特征提取方法，其特征在于，所述layer1的3个卷积模块分别为64维的1*1卷积，64维的3*3卷积，以及256维的1*1卷积。

8.根据权利要求6所述的视频特征提取方法，其特征在于，所述layer2的3个卷积模块分别为128维的1*1卷积，128维的3*3卷积，以及512维的1*1卷积。

9.根据权利要求6所述的视频特征提取方法，其特征在于，所述layer3的3个卷积模块分别为256维的1*1卷积，256维的3*3卷积，以及1024维的1*1卷积。

10.根据权利要求6所述的视频特征提取方法，其特征在于，所述layer4的3个卷积模块分别为512维的1*1卷积，512维的3*3卷积，以及1024维的1*1卷积。