[发明专利]基于关键层回滚机制的卷积神经网络模型容错方法

说明书

本发明公开了一种基于关键层回滚机制的卷积神经网络模型容错方法，包括以下步骤：S1、寻找关键层，通过对原模型添加参数λ进行训练的方式寻找对分类影响最大的关键节点，确定网络的关键层分布；S2、输入分类图片，通过卷积神经网络对输入图片进行识别，获得关键层的输出特征，根据输出特征得到检测阈值；S3、将硬件约束进行建模，利用模拟退火算法求出在满足硬件条件约束的情况下的检测点数量。本发明通过分析实验获得卷积神经网络的关键节点分布，以此为依据获得网络的关键层和关键层的输出分布。在满足时间和空间约束的条件下，在关键层设置关键节点，当关键层输出异常的时候，利用检查点回滚机制实现卷积神经网络的容错。

技术领域

本发明涉及一种基于关键层回滚机制的卷积神经网络模型容错方法。

背景技术

传统的神经网络容错方法多数是在上世纪九十年代提出，针对的对象多数为MLP(多层感知机)。在传统的容错观点中，神经网络需要依靠网络中所有的神经元进行计算得到最终结果，这个过程需要网络中的神经元全部参与计算，但是一些神经元并没有实际的功能，所以神经网络通常不是用精确的或最少的神经元数量来建立的。这种参数过度导致了其拥有一定的自然的鲁棒性和潜在的容错能力。然而，过量错误仍然可以导致其出现错误。传统的容错考虑的仅是网络参数出错的情况，分别从添加冗余节点、修改训练方法中的正则项或将训练过程和容错转化为非线性优化算法求解的优化问题三个方面解决神经网络中的参数容错。

第一种方法是在神经网络中显示的添加冗余，通过在预先训练好的网络中显式地插入冗余来实现，添加位置主要是在神经网络中的隐藏层神经元及其相关权重中。这些方法从一个最小的网络开始，这个网络学习给定的输入/输出模式映射或执行所需的计算任务，然后复制隐藏层的神经元或有选择地添加节点来共享关键神经元的负载。最早是在L.C.Chu中提出通过显示添加冗余来提高网络的容错能力。随后C.-T.Chiu提出灵敏度为标准删除部分节点，再添加冗余节点，并将扰动注入以获得一个容错的神经网络。同时分别利用不同的依据添加冗余神经元，提高网络的容错能力，但该方法针对的网络结构简单，针对的错误类型单一，仅能在小型的MLP上进行实现。但该方法为我们后面的研究提供了思路。

前面的方法是考虑在训练后进行容错，而随后研究人员考虑在训练时期进行容错。第二种方法是修改模型训练方法，通过修改神经网络模型的训练正则项，或类似于对抗训练的方式进行容错。一方面，一些工作侧重于为网络提供训练经验，以开发通过在训练中添加噪声、扰动或直接注入故障来获得容错网络的技术。其中利用改进的BP算法实现容错能力的提高。另一方面,其他一些工作关注改进训练方法中的正则化提高传统算法的容错能力，通过改变训练的输入或反向传播中的约束规则来改变权重，使其适应对应的错误类型。这种方式和现在的对抗训练有相似之处，其思路值得借鉴。

第三种方法是将训练过程和容错转化为非线性优化算法求解的优化问题，从而找到执行给定任务并同时满足容错约束的神经网络拓扑及其参数。通常，这类容错问题被表述为一个约束极大极小优化问题，其目标是在神经网络模型中存在单个单元故障的情况下，使每个输入与期望输出的最大偏差最小化。S.-F.Chen采用遗传算法来提高前馈神经网络对开放故障的容忍度，在开放故障中，一个隐藏节点及其相关的权值被认为是错误的。该方法充分考虑了遗传算法的核心思想，保持了神经网络的总体状态，利用容错测度的适应度，促进种群进化出良好的容错能力。研究人员尝试使用其他的算法来解决该问题，这样的求最大值最小值问题的主要难点是目标函数一般是不可微的，因此基于求导的梯度下降方法不适合用来解决这些问题。

发明内容

本发明的目的在于克服现有技术的不足，提供一种通过分析实验获得卷积神经网络的关键节点分布，在满足时间和空间约束的条件下，在关键层设置关键节点，当关键层输出异常的时候，利用检查点回滚机制实现卷积神经网络的容错，具有一定的通用性的基于关键层回滚机制的CNN容错方法。

本发明的目的是通过以下技术方案来实现的：一种基于关键层回滚机制的CNN容错方法，包括以下步骤：