[发明专利]一种基于优化视频关键帧提取的短视频分类方法及系统

权利要求书

1.一种基于优化视频关键帧提取的短视频分类方法，其特征在于，包括步骤：

S1、提取短视频密集帧；

S2、计算所述密集帧中各图像帧的信息量；

S3、选取信息量最大的多个图像帧作为所述短视频的关键帧；

S4、拼接所述关键帧生成短视频张量，将所述短视频张量输入3D-CNN分类模型，基于所述3D-CNN分类模型对所述短视频张量进行特征学习，输出短视频类别。

2.根据权利要求1所述的短视频分类方法，其特征在于，所述密集帧的数量为所述关键帧数量的m倍，m≥2。

3.根据权利要求1所述的短视频分类方法，其特征在于，所述步骤S2具体为：

S21、对密集帧中各图像帧进行灰度化，彩色图像三个颜色通道分别用R、G、B表示，则灰度图Grad为：

Grad(i，j)＝0.299*R(i，j)+0.587*G(i，j)+0.114*B(i，j)

S22、计算所述灰度化后图像帧的信息熵：

其中，P_(i)是某个像素值i在图像中出现的概率，图像像素值取值范围为0～255。

4.根据权利要求1所述的短视频分类方法，其特征在于，所述短视频张量为N×W×H×C大小，其中N为关键帧的帧数，W对应每个图像帧的宽，H对应每帧图像的高，C对应每帧图像的通道数。

5.根据权利要求4所述的短视频分类方法，其特征在于，所述3D-CNN包括一个硬连线层、三个3D卷积层、两个下采样层一个全连接层、一个输出层；所述硬连线层通过对关键帧进行处理产生多个通道信息；3D卷积层用于提取多种特征；下采样层组件用于对特征进行降维；全连接层用于将二维特征组合成一维特征；输出层包括Softmax分类器，用于基于所述一维特征为短视频分类输出。

6.一种基于优化视频关键帧提取的短视频分类系统，其特征在于，包括：

截帧模块，用于提取短视频密集帧；

信息量计算模块，用于计算所述密集帧中各图像帧的信息量；

关键帧选取模块，用于选取信息量最大的多个图像帧作为所述短视频的关键帧；

分类模块，用于拼接所述关键帧生成短视频张量，将所述短视频张量输入3D-CNN分类模型，基于所述3D-CNN分类模型对所述短视频张量进行特征学习，输出短视频类别。

7.根据权利要求6所述的短视频分类系统，其特征在于，所述密集帧的数量为所述关键帧数量的m倍，m≥2。

8.根据权利要求6所述的短视频分类系统，其特征在于，所述信息量计算模块包括：

灰度化模块，用于对密集帧中各图像帧进行灰度化，彩色图像三个颜色通道分别用R、G、B表示，则灰度图Grad为：

Grad(i，j)＝0.299*R(i，j)+0.587*G(i，j)+0.114*B(i，j)

计算模块，用于计算所述灰度化后图像帧的信息熵：

其中，P_(i)是某个像素值i在图像中出现的概率，图像像素值取值范围为0～255。

9.根据权利要求6所述的短视频分类系统，其特征在于，所述短视频张量为N×W×H×C大小，其中N为关键帧的帧数，W对应每个图像帧的宽，H对应每帧图像的高，C对应每帧图像的通道数。

10.根据权利要求9所述的短视频分类系统，其特征在于，所述3D-CNN包括一个硬连线层、三个3D卷积层、两个下采样层一个全连接层、一个输出层；所述硬连线层通过对关键帧进行处理产生多个通道信息；3D卷积层用于提取多种特征；下采样层组件用于对特征进行降维；全连接层用于将二维特征组合成一维特征；输出层包括Softmax分类器，用于基于所述一维特征为短视频分类输出。