[发明专利]全栈式的循环神经网络深度学习系统安全分析与检测方法

说明书

本发明公开了一种全栈式的循环神经网络深度学习系统安全分析与检测方法。针对循环神经网络，进行变换变异生成改变的神经网络，将测试数据输入神经网络获得输出结果，进而获得变异率作为敏感度参数；在各个神经网络的处理过程中计算获得覆盖率，生成更多的测试用例并输入到神经网络中获得错误率作为质量参数；采用遗传算法对测试数据进行变异，获得不一致率大于预设一致阈值的变异后的测试数据，以测试数据输入到神经网络中以输出结果的错误率作为兼容性结果。本发明支持循环神经网络，通过从数据收集到神经网络开发再到神经网络部署阶段的系统分析与测试，从而更好的检测深度学习系统的质量与安全问题，确保深度学习系统在真正部署阶段的安全性。

技术领域

本发明涉及了人工智能神经网络的一种安全分析与测评方法，具体是一种全栈式的循环神经网络深度学习系统安全分析与检测方法。

背景技术

随着海量数据的增加以及计算硬件的高速发展，深度学习在很多领域已经取得了巨大成功，例如图像处理，语音处理和医疗诊断。然而，尽管目前神经网络可以获得较高的准确率，但是其仍然面临着质量、可靠性以及安全问题。例如对于一个识别正确的输入数据，通过微小的扰动其很容易让深度神经网络出错。当其被应用到很安全相关的场景时，对于其质量、可靠性以及安全性的保障变得尤为重要。

在传统软件上已经有多种成熟的技术以保障传统程序的安全与可靠性，然而，由于深度神经网络的独特性，现有的技术很难直接应用到神经网络的分析上。因此，为了保障深度神经网络的质量以及其真正落地，研究新的分析与测评技术是十分必要的。

深度学习系统的生命周期通常包含数据收集、神经网络设计、神经网络训练以及神经网络部署等阶段。而在周期的每个阶段都容易出现问题从而导致整个系统的不安全，例如测试数据不充分、模型不鲁棒以及模型在部署环境的兼容性问题等。

发明内容

为了保障深度学习系统的安全与可靠性，需要对其进行安全检测，本发明提出了一种全栈式的循环神经网络深度学习系统安全分析与检测方法，从数据到神经网络再到部署阶段等多维度来对深度学习系统进行测评。

本发明解决上述问题所采用的技术方案为：

针对循环神经网络，采用包含数据敏感度分析测试、神经网络质量分析测试和神经网络部署测试的三个深度学习系统全生命周期的分析检测步骤。

针对循环神经网络进行变换、变异处理生成多个高质量的改变的神经网络，将测试数据输入到各个改变的神经网络中获得输出结果，根据所有输出结果处理获得变异率，通过测试数据在多个改变的神经网络中获得的变异率作为测试数据的敏感度参数；

在各个神经网络的处理过程中计算获得覆盖率，利用覆盖率生成更多大量的测试用例；再将生成的测试用例输入到神经网络中获得错误率，以错误率作为质量参数，评估作为鲁棒性的结果；

采用遗传算法对原始的测试数据进行变异，在遗传算法的每一轮演化中，通过收益函数对变异后的测试数据进行筛选以进行下一轮演化，最终获得在部署环境与开发环境中不一致率大于预设一致阈值的变异后的测试数据，以测试数据输入到神经网络中以输出结果的错误率作为兼容性结果。不一致率是指变异后的测试数据经原始的神经网络处理后获得的输出结果的较小数不一致的占比例。

对于循环神经网络，神经网络质量分析采用但不限于神经网络权重变换、状态清零(State Clear)、状态重置(State Reset)、状态高斯变化(State Gaussian Fuzzing)、状态精度降低(State Precision Reduction)、门重置(Gate Reset)、门高斯变化(GateGaussian Fuzzing)、门精度降低(Gate Precision Reduction)来生成多个循环神经网络。

给定一个神经网络，首先通过微小的变化来对目标神经网络进行变异以生成多个神经网络，然后用多个神经网络分别去预测处理测试数据获得输出结果，根据输出结果的变化率来分析判断处理。