[发明专利]一种视频特征提取方法

说明书

本发明涉及一种视频特征提取方法，包括：获取视频帧图像，并抽取所述视频帧图像中的关键帧图像；根据所述关键帧图像获得光流图像；将所述关键帧图像和所述光流图像进行融合得到融合图像；将所述融合图像输入预先训练好的CNN特征提取模型进行特征提取，获得视频特征。通过本发明，既能同时兼顾视频特征提取的有效性，又能很快速地完成视频特征提取。

技术领域

本发明涉及视频特征提取技术领域，具体涉及一种视频特征提取方法。

背景技术

视频特征提取的目的是帮助人们更加容易地找到感兴趣的视频，比如完成视频分类、视频理解、视频的目标跟踪、动作识别等，而如今视频的清晰度和规模越来越大，能稳定地对视频序列进行特征提取的方法变得越来越重要。

目前，基于图像的视频特征提取方法对于时间特征的利用非常有限，并且受外界干扰(如遮挡、光照、目标移动速率)的影响非常大，准确性往往在实际应用场景中鲁棒性不强。而结合机器学习和图像的一些统计特征，例如HoG特征、HoF特征，进行视频特征提取能取得相对较好的效果，但是在提取效率上非常有限，速度较慢。

因此，亟待提出一种既能同时兼顾视频特征提取的有效性，又能很快速地完成特征提取的方法/系统。

发明内容

本发明的目的在于提出一种视频特征提取方法，既能同时兼顾视频特征提取的有效性，又能很快速地完成视频特征提取。

为实现上述目的，本发明实施例提出一种视频特征提取方法，包括：

获取视频帧图像，并抽取所述视频帧图像中的关键帧图像；

根据所述关键帧图像获得光流图像；

将所述关键帧图像和所述光流图像进行融合得到融合图像；

将所述融合图像输入预先训练好的CNN特征提取模型进行特征提取，获得视频特征。

优选地，所述抽取所述视频帧图像中的关键帧图像，包括：

按照预设频率，周期性地从所述视频帧图像中抽取一帧图像作为关键帧图像。

优选地，所述根据所述关键帧图像获得光流图像，包括：

在连续的10帧关键帧图像中，分别在前5帧图像中随机抽取1帧图像，在后5帧图像中随机抽取1帧图像，根据抽取的2帧图像关键帧图像获得光流的水平向量和垂直向量，将所述水平向量和垂直向量作为光流图像的第一维和第二维数据，并增加第三维数据，且将光流图像的第三维数据的数值设置为0，获得所述10帧关键帧图像所对应的光流图像。

优选地，所述将所述关键帧图像和所述光流图像进行融合，包括：

将每一帧关键帧图像与其对应的光流图像的3维数值分别进行取均值，将均值作为融合图像的3维数值，获得融合图像。

优选地，所述CNN特征提取模型包括Resnet-50结构，所述Resnet-50结构包括依次连接的输入层、layer0、layer1、layer2、layer3、layer4；

所述输入层用于对输入所述CNN特征提取模型的融合图像进行L2正则化；

所述layer0由一个核为7*7、步距为2的卷积层、一个BN层、一个Relu层以及一个3*3最大值池化、步长为2的池化层构成；

所述layer1包括依次连接的3个残差块，所述layer2包括依次连接的4个残差块，所述layer3包括依次连接的6个残差块，所述layer4包括依次连接的3个残差块。