[发明专利]一种基于格拉姆矩阵正则化的卷积神经网可视化方法

说明书

本发明公开了一种基于格拉姆矩阵正则化的卷积神经网可视化方法，包括给定一个图像表示函数和参考表示，通过优化目标函数求出这个参考表示的输入层数据，作为对应的卷积神经网络待可视化层的可视化结果。本发明可以对不同的卷积神经网络的不同层的特征进行可视化。本发明对可视化技术的正则项进行了改进，取得了对可视化的愚弄效应进行抵抗的效果。

技术领域

本发明属于计算机视觉和模式识别领域，特别涉及一种基于格拉姆矩阵正则化的卷积神经网可视化方法。

背景技术

卷积神经网络CNN是近年来模式识别领域的重要模型，在图像分类、人脸识别、自然语言处理、语音识别等诸多应用领域取得了较高的分类和识别精度。CNN带来了高精度的预测模型，但是同时也留下重要的问题，在复杂的多层非线性网络结构中，究竟是什么让训练好的CNN模型给出近乎完美的预测答案？从CNN被大规模研究使用以来，学者们持续不断的探索可以理解和解释CNN的方法，其中可视化技术被证明是解释CNN内部结构最有效的方法之一。

Aravindh Mahendran和Vedaldi等[1]提出了一种可视化方法，该方法求解经过卷积神经网络某层的特征表示与给定特征映射接近的图像，将所求图像作为卷积神经网络某层的可视化结果。然而，这种可视化方法尚且存在一定问题，即：黑色的背景可视化出绿色的背景。这种可视化与神经网络容易被愚弄不谋而合，所谓愚弄[2]，即不同的图片在某层会有相同的表示，神经网络会以较高的置信度把表示相近的不同类图片分到同一类别，比如颜色相近的卡车和棒球服以高置信度分到同一类，而两者显然不是同一类别。

发明内容

为了解决神经网络容易被愚弄的问题，本发明在上述Mahendran和Vedaldi等提出的方法基础上进行了改进，提出一种基于格拉姆矩阵的新的可视化方法，格拉姆矩阵能够提取整体风格，来抵抗可视化时的这种愚弄。以此对研究神经网络的研究者对CNN的构造有指导意义。

本发明提出一类基于格拉姆矩阵正则化的卷积神经网络可视化方法。其基本思想是：给定一个图像表示函数Φ：和参考表示Φ₀＝Φ(x₀)，通过优化目标函数求出这个参考表示的输入层数据，作为对应的卷积神经网络待可视化层的可视化结果，即本发明中迭代后得到的解图像X。这里的图像表示函数Φ是卷积神经网络待可视化层的特征映射，x₀是输入图像，Φ₀是输入图像在待可视化层的表示。本发明可以对不同的卷积神经网络的不同层的特征进行可视化，模型如CaffeNet、AlexNet、VGG16、VGG19、GoogleNet等。本发型的创新点在于目标函数中引入格拉姆正则。

具体技术方案如下：

步骤(1):准备待可视化的卷积神经模型CNN、输入图像x₀，以及初始化解图像X＝X₀；

待可视化的卷积神经模型CNN可以是常见的CaffeNet、AlexNet、ZFNet、VGG16、VGG19、GoogleNet、ResNet等,但不局限于这些。

步骤(2):计算输入图像x₀的特征映射及格拉姆正则项，具体如下：

1)、计算输入图像x₀在卷积神经模型中待可视化的第l层的特征映射Φ_l(x₀)；Φ_l(x₀)由经典卷积神经网络计算特征映射的方法得到。