[发明专利]一种脉冲神经网络权重图像化比较预测及网络抗干扰方法

说明书

本发明公开了面向图像识别任务领域一种脉冲神经网络权重图像化比较预测及网络抗干扰方法，所述的方法包括以下步骤：1)对训练的脉冲神经网络使用权重图像化比较WGC方案进行预测；2)对模型训练得到的权重进行增强处理。提出权重图像化比较的网络预测方案，通过将新测试数据与网络学习到的每个过滤器二维化权重做图像相似度比较，输出最相近的过滤器映射的标签类别完成对数据的类别预测。本发明验证了该方案下的两种指标的表现。结果表明该方案对于提升网络的预测精度和训练收敛表现有着显著的帮助。通过对权重采取若干组的干扰添加，使得网络得以在标准训练集训练后能够相当好地应对测试数据的较大扰动干扰，显著提升了网络的鲁棒性。

技术领域

本发明涉及面向图像识别任务技术领域，具体为一种脉冲神经网络权重图像化比较预测及网络抗干扰方法。

背景技术

为了实现脉冲神经网络(Spiking Neural Network，SNN)在MNIST上面的无监督图像识别任务，Peter U.Diehl和Matthew Cook在2015年设计并提出了一种基于STDP的SNN无监督学习算法，即一种基于能够在神经形态芯片(neuromorphic chips)上部署的生物神经系统的结构和机制(LIF神经元，电导突触，指数型动态特性，横向抑制，可调节发射阈值)的STDP无监督学习SNN神经网络算法，6400个神经元实现对MNIST数据集95％的识别分类精度。为了方便本发明称Diehl和Cook所提出的网络结构和算法为DC网络。包括神经元和突触模型、网络结构、学习机制、学习平衡性、输入编码、分类。

Diehl和Cook提出的方案使得基于脉冲神经元的网络成功用于了图像识别领域，且具有良好的规模可伸缩性，网络的准确度是可以随规模增大提升的(但是有一定上限)，100/400/1600/6400个兴奋性神经元对应的预测精度分别为82.9％/87.0％/91.9％/95.0％。但其仍有相当的局限性，具体包括：

神经元数量的优势尚未发挥出来。

这种方案使兴奋层中的单个神经元能够学习独特的数据表示，或者说是一种图像模式。神经元将其学到的模式编码进连接其的突触权重中(通过STDP规则学习得到)，这种神经元-突触的组合类似一个“过滤器”，因为它更有可能响应与自身学习的模式相近的图像。模式的学习是建立在整张图像级别上的。

由于网络将所有标签样本整合到一起进行无监督学习，对于模式简单的数字图像学习较为容易，会有较多的神经元学习到类似的模式，使得某些神经元学习到重复冗余的模式，浪费了神经元数量的优势。此外对于模式复杂的数字图像，神经元很难以在无监督环境充分提取到原型特征，使得学习到模式较为模糊和散乱，不能保证有神经元能够对其有持续的响应，从而浪费了较多复杂模式样本。一个100神经元网络学习到的针对MNIST数据的过滤器群例子如图7所示，每个神经元的输入连接突触的权重分布使用颜色深浅表示。

从图7中可以看到，对于简单的模式样本(例如数字1)，有数个神经元学习到的模式非常接近，从而造成了神经元数量的浪费。而对于复杂模式的样本(例如数字5)，有多个神经元学习到的模式模糊且不完整，例如第三行的第四个神经元虽然学习到了数字5的模式，但是并没有充分地提取该模式的特征，权重图像比较模糊。

正因为网络尚未充分发挥其表征数据集的优势，其在标准MNIST测试集上的准确率较低，Diehl和Cook展示的准确率如下表所示：

表1不同神经元个数的DC网络测试准确率

可以看出该网络存在一个上限(大约在95左右)。随着神经元数量的递增，准确率的增长越来越缓慢，要使用6400神经元才能接近其网络的最佳潜能。而当神经元数量较小时，网络的表现并不佳，100、400、1600神经元都未能达到较为理想的测试准确率。