[发明专利]一种基于视频图像的内容识别方法

权利要求书

1.一种基于视频图像的内容识别方法，其特征在于，包括以下步骤：

步骤1、构建图像识别网络模型：

所述的图像识别网络模型的结构为：输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第一特征拼接层、第二特征拼接层、输出层；所述第一特征拼接层拼接对第三池化层的特征图与第二池化层特征图进行特征拼接，然后卷积、批标准化、ReLU激活融合后再次经过进行注意力机制处理，将特征信息输入第二特征拼接层；第二特征拼接层将第一特征拼接层输入的特征图与第一池化层特征图进行特征拼接，然后卷积、批标准化、ReLU激活融合后再次经过进行注意力机制处理，将深度特征信息输入输出层；

步骤2、针对视频图像，提取关键帧图像；

利用图像识别网络模型对关键帧图像进行处理，确定图像的内容对象；

同时通过光流法计算出两帧图像间的光流场信息，将关键帧的特征传输到其他帧图像；

步骤3、针对步骤2的模型进行训练，得到训练好的最终识别模型；

步骤4、利用训练好的最终识别模型对视频图像的内容进行识别。

2.根据权利要求1所述的一种基于视频图像的内容识别方法，其特征在于，所述第一卷积层、第二卷积层、第三卷积层的激活函数为RELU。

3.根据权利要求1所述的一种基于视频图像的内容识别方法，其特征在于，提取关键帧图像的过程采用基于内容分析法提取关键帧图像。

4.根据权利要求1、2或3所述的一种基于视频图像的内容识别方法，其特征在于，针对步骤2的模型进行训练时损失函数都使用交叉熵损失函数，如下式所示：

其中N为选取的训练样本的总个数，k代表训练时选取的第k个样本，j为数据集的类别数目；p_k表示第k个样本的概率，p_k表示第j类的概率。

5.根据权利要求4所述的一种基于视频图像的内容识别方法，其特征在于，针对步骤2的模型进行训练得到训练后的最终识别模型后，利用测试集进行测试；如果最终识别模型满足识别率要求，则作为训练好的最终识别模型，否则返回步骤1重新调整模型参数。