[发明专利]鲁棒二值神经网络的构建方法及设备

说明书

本发明公开了一种鲁棒二值神经网络的构建方法及设备。鲁棒二值神经网络的构建方法，包括：对训练数据进行二值化处理；基于二值化处理后的训练数据，对预设二值神经网络进行训练；对完成训练的预设二值神经网络进行纠错编码。采用本发明，通过对训练数据进行二值化处理，可以将内存占用降低为原有的浮点型权值的1/32；同时，对训练好的二值神经网络进行纠错编码，使得编码后二元神经网络具有抵抗檫除或者错误的噪音干扰，所以编码后的二元神经网络具有很好的鲁棒性。

技术领域

本发明涉及神经网络领域，尤其涉及一种鲁棒二值神经网络的构建方法及设备。

背景技术

随着深度神经网络(Deep Neural Network，DNN)的提出和数值计算设备的改进，深度神经网络技术和理论都得到了快速发展，它已经成为人工智能的主导力量和给科学技术带来了革命。深度神经网络在在手机、传感器、医疗设备等领域的硬件实现，使得人工智能系统变得越来越节能和无处不在。

目前现状是，一方面，基于浮点运算的神经网络，参数量大、计算量大，需要占用很多的计算资源。另一方面，训练一个神经网络来得到各类参数需要密集的计算和大量存储资源；但是，神经网络的推理(或者预测)不需要重新训练这个神经网络，那么神经网络的推理过程不需要大量的计算和存储资源。同时，深度神经网络极易受到对抗性噪音的干扰。例如，最近研究表明，在一些深度神经网络中，只要改变一个或者两个输入项，输出结果将会出现巨大变化。

发明内容

本发明实施例提供一种鲁棒二值神经网络的构建方法及设备，用以至少解决现有技术中神经网络噪声干扰抵抗能力差的问题。

根据本发明实施例的鲁棒二值神经网络的构建方法，包括：

对训练数据进行二值化处理；

基于二值化处理后的训练数据，对预设二值神经网络进行训练；

对完成训练的预设二值神经网络进行纠错编码。

根据本发明的一些实施例，所述对预设二值神经网络进行训练，包括：

在图形处理器GPU上，对预设二值神经网络进行训练，以确定所述预设二值神经网络的神经元层数、各层神经元的权值、以及各层神经元的偏量值。

根据本发明的一些实施例，所述对完成训练的预设二值神经网络进行纠错编码，包括：

通过加入冗余神经元对原始输入数据进行纠错编码，并相应调整完成训练的预设二值神经网络的各层神经元的权值、以及各层神经元的偏量值。

根据本发明的一些实施例，所述通过加入冗余神经元对原始输入数据进行纠错编码，并相应调整完成训练的预设二值神经网络的各层神经元的权值、以及各层神经元的偏量值，包括：

采用三元组(E_t,V_t^b,μ_t)对完成训练的预设二值神经网络的各层神经元的输入项权值以及偏量值进行纠错编码；

其中，F₂＝{0,1}，R为实数集，1≤t≤L，L表示神经元层数，1≤i≤k_t，k_t表示第t层神经元个数；

所述三元组(E_t,V_t^b,μ_t)对于任意一个p-子集和一个q-子集满足公式1：

根据本发明的一些实施例，所述方法还包括：

将纠错编码后的预设二值神经网络转移到FPGA上。

根据本发明实施例的鲁棒二值神经网络的构建设备，包括：