[发明专利]一种面向卷积神经网络分类结果的可视化算法

权利要求书

1.一种面向卷积神经网络分类结果的可视化算法，其特征在于，具体通过以下步骤实现：

(1)提取输入图像的数据集，将数据集作为训练集对卷积神经网络进行训练，得到训练好的模型参数；

(2)根据Rel-CAM算法在全连接层中的计算方法，利用输出结果和模型参数逐层计算全连接层中各神经单元对输出的贡献大小，直至卷积层；

(3)依据步骤(2)中得到的最后一层卷积层中所有神经单元对输出的贡献，计算该层每个通道与输出结果的相应权重，从而得到该网络模型的类激活映射图；

(4)记录类激活映射图中值为正的神经单元，该神经单元的位置作为该层中对输出结果有贡献的像素的位置，将这些神经单元加入到该层对输出有贡献的神经元集合中；

(5)依次取出集合中的每个神经元，计算其前一层中感受野中所有神经元与相应权重的哈达玛积，并对每一通道的哈达玛积求和，取其中和最大的通道作为贡献通道，并取其中值为正的神经元加入到该层对输出有贡献的神经元集合中，并去除其中重复的神经元；

(6)重复步骤(5)的传播过程，直至获得输入层中的神经元集合，该集合中的神经单元表明了该位置下的像素对输出结果有贡献。

2.根据权利要求1所述的一种面向卷积神经网络分类结果的可视化算法，其特征在于，所述的步骤(2)通过以下步骤实现：

(2.1)假定一个训练好的CNN模型及一张给定的输入图片，模型将其划分到了c类，假设输出层中C节点是该类的输出节点，且在该节点处的得分为S_c，算法中选择Softmax层之前的输出作为类得分，输出映射到只与c类相关的特征的位置，

其中，表示输出层中预测为c类神经元的相关性，即预测结果相关性在输出层上的分布；

(2.2)假设输出层前一层为l，那么该层每个神经单元对最后的输出的贡献度，也就是每个神经元的与预测结果的相关性定义为：

其中，表示第l层中第i个神经元的激活值，而表示该神经单元与下一层，即输出层神经元之间的权重连接；

(2.3)由于最后一层只有c类输出节点有相关性，因此只考虑每个神经元到节点C的相关性；若为中间层之间的传递，考虑前一层每个神经元到后一层所有神经元之间的相关性，这时有：

其中，表示第l层中第j个神经元与c类预测输出之间的相关性，表示第l-1层中第i个神经元与下一层l中第j个神经元之间的相关性；

(2.4)根据守恒定律，第l层的所有神经元的相关性之和等于输出层的相关性，所以i神经元与下一层的相关性，等同于它与预测结果的相关性，有：

其中，表示第l-1层中第i个神经元与预测结果的相关性；

同时，根据传递的守恒定律有：