[发明专利]一种二值神经网络的构建方法

权利要求书

1.一种二值神经网络的构建方法，其特征在于，包括以下步骤：

S1：构建初始的神经网络；

S2：分别对所述神经网络的权重和输入数据进行二值化处理，得到二值化权重和二值化输入数据；

S3：根据二值化输入数据和二值化权重对所述神经网络进行训练，得到优化的神经网络；

S4：判断优化的神经网络的所有权重和输入数据是否全部收敛为+1或-1；

若是，则执行步骤S6；

若否，则执行步骤S5；

S5：更新神经网络的参数，得到新的二值化权重，并返回步骤S3；

S6：得到二值神经网络。

2.根据权利要求1所述的一种二值神经网络的构建方法，其特征在于，所述神经网络包括二值归一化层、二值激活层、二值卷积层和池化层。

3.根据权利要求2所述的一种二值神经网络的构建方法，其特征在于，所述神经网络的计算顺序依次为：二值归一化层、二值激活层、二值卷积层、池化层；

其中，在二值归一化层对输入数据进行标准化，使之均值为0，在二值卷积层后插入一个非二进制激活函数。

4.根据权利要求3所述的一种二值神经网络的构建方法，其特征在于，所述非二进制激活函数为ReLU函数。

5.根据权利要求2所述的一种二值神经网络的构建方法，其特征在于，在步骤S2中，利用二值矩阵B和第一尺度因子α∈R⁺代替所述神经网络的权重W。

6.根据权利要求5所述的一种二值神经网络的构建方法，其特征在于，通过以下步骤求得二值矩阵B和第一尺度因子α∈R⁺的最优值：

用I*W表示卷积层的操作，其中，I表示输入数据，W表示权重，维度是c*w*h，c表示通道数，w表示宽度，h表示高度，

令W贴近B时得到：

I*W≈(I⊕B)α

其中，⊕表示不含任何乘法的卷积，

得到优化目标函数：

J(B,α)＝||W-αB||²

其中，min()为取最小值函数，arg()为取自变量函数；

将优化目标函数展开为：

J(B,α)＝α²B^TB-2αW^TB+W^TW

其中，B是一个1*n的向量，取-1或者1，B^TB＝n，即为一个常量，

结合可得B的最优值计算公式：

B∈{+1,-1}ⁿ

B^*＝sign(W)

B的最优值即决定W的符号，

根据优化目标函数展开式对第一尺度因子α求导，从而得到α的最优值计算公式：

结合B^*＝sign(W)求得α最终的最优值计算公式：

其中，α的最优值是W的每个元素的绝对值之和的均值，||W||表示l1范数。

7.根据权利要求6所述的一种二值神经网络的构建方法，其特征在于，在步骤S2中，利用β和H近似表示输入数据I，其中，β为第二尺度因子，H为二值卷积核，H∈{+1,-1}ⁿ，β∈R⁺，

期望得到β、H、α和B使得

I^TW≈βH^TαB

优化表达式为：

其中，⊙表示点乘，

用Y表示IW，C表示HB，γ表示βα，得到

因此，得到C和γ的计算公式：

C^*＝sign(Y)＝sign(I)⊙sign(W)＝H^*⊙B^*

其中，|I_i|和|W_i|是相互独立的，

根据C和γ的计算公式求得β、H、α和B的最优值。