[发明专利]一种联合热图特征回归的基于CNN特征提取网络的联合图像分类方法

说明书

本发明公开了一种联合热图特征回归的基于CNN特征提取网络的联合图像分类方法，该方法包括获取图像信息并进行预处理，训练具有热图特征分布的基于CNN的特征提取分类网络模型得到第一预测结果，训练特征热图回归网络模型得到第二预测结果，构建联合回归网络模型拼接第一预测结果和第二预测结果计算最终预测概率，输出分类结果。本发明采用具有热图特征分布的基于CNN的特征提取分类神经网络与特征热图回归网络相结合的联合回归网络架构，能够从实际能帮助具有热图特征分布的基于CNN的分类网络更好地实现并提高泛化能力和稳定性，进一步提升图像分类精度。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种以具有热图特征分布的基于CNN的特征提取网络为主，特征热图回归网络为辅的联合图像分类方法。

背景技术

一般而言，典型的卷积神经网络主要包括卷积层、池化层和全连接层。其中卷积层与池化层配合组成多个卷积组，逐层提取特征，最终通过若干个全连接层完成分类，而池化层主要是进行数据降维。

MesoNet的中文译名即“袖珍网络”，其特点是网络参数少且在训练轮次较少的情况下可以达到较高的精度，但是稳定性和泛化能力稍弱。将其前面三层典型传统卷积层替换为两层Inception层之后，训练速度虽稍微减缓但结果却更加稳定，也达到了更高的精度，此时的网络称为MesoNet_InceptionV4。

Inception的主要特点是更好地利用网络内部的计算资源，这通过一个精心制作的设计来实现，即该设计允许增加网络的深度和宽度，同时保持计算预算不变。为了优化质量，架构决策基于赫布原则和多尺度处理。在同一层级上运行具备多个尺寸的滤波器，使得网络变宽而非更深。从而可以保留更多细节特征。

现有的DeepFakes图片分类方法有以下三种：即白盒方法、黑盒方法以及两者相结合的方法。

1)白盒方法，其通常会明确地给出真实截图与DeepFakes截图的特点。比如其在生物信号、眨眼检测、区块链和智能合同以及视觉特征等方面的差异，并以此作为判断标准。

2)黑盒方法，顾名思义，在内部结构完全透明的情况下，给出判断结果。黑盒方法一般是搭建基于CNN或RNN的二分类神经网络。

3)黑白盒相结合的方法，即先利用前文述及的白盒方法得到具有明显差异的中间结果，将中间结果送入前文述及的黑盒方法中，再做进一步的区分。

上述白盒方法掣肘于图片特性，比如眨眼检测之于不眨眼的原视频，视觉特征检测之于新闻视频等；与之相对，黑盒方法大多是为了分类而分类，依赖于训练生成模型、数据集、特定人脸等。

发明内容

针对现有图像分类方法所采用的特征提取网络中出现的训练过拟合、图像分类精度不高等问题，本发明提供了一种以具有热图特征分布的基于CNN的特征提取网络为主，特征热图回归网络为辅的联合图像分类网络的图像分类方法。

为了达到上述发明目的，本发明采用的技术方案为：

一种联合热图特征回归的基于CNN特征提取网络的联合图像分类方法，包括以下步骤：

S1、获取待分类的真假图像，并进行图像预处理；

S2、构建具有热图特征分布的基于CNN的特征提取分类网络模型，利用步骤S1中预处理后的训练集图像对模型进行训练，得到第一预测结果；

S3、构建特征热图回归网络模型，利用步骤S1中预处理后的训练集图像及步骤S2得到的特征图像对模型进行训练，得到第二预测结果；

S4、构建联合回归网络模型，将步骤S2得到的第一预测结果与步骤S3得到的第二预测结果进行拼接，并经过联合回归网络模型计算最终预测概率；

S5、采用二分类交叉熵损失函数对步骤S4得到的最终预测概率与真实标签之间进行距离衡量，输出分类结果。