[发明专利]一种二值神经网络的构建方法

说明书

本发明提供一种二值神经网络的构建方法，包括以下步骤：S1：构建初始的神经网络；S2：分别对所述神经网络的权重和输入数据进行二值化处理，得到二值化权重和二值化输入数据；S3：根据二值化输入数据和二值化权重对所述神经网络进行训练，得到优化的神经网络；S4：判断优化的神经网络是否收敛；若是，则执行步骤S6；若否，则执行步骤S5；S5：更新神经网络的参数，得到新的二值化权重，并返回步骤S3；S6：得到二值神经网络。本发明提供一种二值神经网络的构建方法，通过将权重和输入数据二值化，可以在小内存和没有GPU的便携式设备中实现实时推算，解决了目前基于卷积神经网络的识别系统需要大量的内存和计算能力，不适用于便携式设备的问题。

技术领域

本发明涉及人工智能的技术领域，更具体的，涉及一种二值神经网络的构建方法。

背景技术

随着深度学习理论的提出和数值计算设备的改进，卷积神经网络发展迅速，并被应用于计算机视觉和语音识别等多个领域，其在目标识别和检测方面具有高效、可靠的优点。

近年来，虚拟现实、增强现实和智能可穿戴设备也得到了快速的发展，人们开始探寻神经网络和便携式设备的结合方式。然而，基于卷积神经网络的识别系统需要大量的内存和计算能力，适用于昂贵的基于GPU的设备上，但不适用于如手机和嵌入式电子产品等便携式设备。例如，AlexNet有61M参数，执行1.5B的高精度操作对一个图像进行分类。对于更深层次的，例如VGG，这些参数甚至更高。然而目前所有的便携式设备都只能提供有限的计算能力，以及容量并不算大的片上存储。卷积神经网络在便携式设备上的移植变得越来越艰难。庞大的计算量采用浮点数作为操作数运行在轻量级芯片上，传统浮点神经网络的计算效率低、能耗大、速度慢，无疑已经超出便携式设备的能力范围，同时也很难达到比较好的实时效果。

现有技术中，如2019-07-30公开的专利，一种基于二值化深度神经网络的手写数字图像识别分类方法，公开号为CN110070119A，基于BinaryConnect二值化深度神经网络，并通过公式推导得出最优权重缩放因子α，将该因子α在前向传播过程中与权重W相乘，以达到增强网络表达能力、提高训练精度的目的，但不适用于便携式设备。

发明内容

本发明为克服目前基于卷积神经网络的识别系统需要大量的内存和计算能力，不适用于便携式设备的技术缺陷，提供一种二值神经网络的构建方法。

为解决上述技术问题，本发明的技术方案如下：

一种二值神经网络的构建方法，包括以下步骤：

S1：构建初始的神经网络；

S2：分别对所述神经网络的权重和输入数据进行二值化处理，得到二值化权重和二值化输入数据；

S3：根据二值化输入数据和二值化权重对所述神经网络进行训练，得到优化的神经网络；

S4：判断优化的神经网络的所有权重和输入数据是否全部收敛为+1或-1；

若是，则执行步骤S6；

若否，则执行步骤S5；

S5：更新神经网络的参数，得到新的二值化权重，并返回步骤S3；

S6：得到二值神经网络。

优选的，所述神经网络包括二值归一化层、二值激活层、二值卷积层和池化层。

优选的，所述神经网络的计算顺序依次为：二值归一化层、二值激活层、二值卷积层、池化层；

其中，在二值归一化层对输入数据进行标准化，使之均值为0，在二值卷积层后插入一个非二进制激活函数。

优选的，所述非二进制激活函数为ReLU函数。