[发明专利]神经网络权重离散化方法和系统

权利要求书

1.一种神经网络权重离散化方法，应用于神经网络权重离散化系统，其特征在于，所述方法包括：

获取权重取值范围和离散权重状态个数，所述权重取值范围是指由当前时间步最大权重值和当前时间步最小权重值组成的离散权重取值范围，所述离散权重状态个数是指离散权重的状态的个数；

获取上一个时间步权重状态和当前时间步权重增量；

根据所述当前时间步权重增量，利用方向函数，获取状态转移方向；

根据所述上一个时间步权重状态、所述当前时间步权重增量、所述状态转移方向、所述权重取值范围、所述离散权重状态个数，获取当前时间步权重状态；

所述神经网络权重离散化系统包括限幅处理器，除法/余数计算器，取绝对值器，取符号器，概率函数查找器，蒙特卡洛采样器，第一乘法器，第一加法器和第二乘法器；其中，

所述限幅处理器用于获得当前时间步权重增量；

所述除法/余数计算器根据所述当前时间步权重增量，获得当前时间步权重增量整步长和当前时间步权重增量余数；

所述取符号器根据所述当前时间步权重增量余数，获取状态转移方向函数；

所述取绝对值器、所述概率函数查找器、所述蒙特卡洛采样器三者依次串联，根据所述当前时间步权重增量余数，获取状态转移概率；

所述第一乘法器，所述第一加法器以及所述第二乘法器根据所述状态转移方向函数、所述状态转移概率、所述当前时间步权重增量整步长和离散相邻状态距离值，获取当前时间步权重状态，其中，当前时间步权重状态由以下公式获得：

W^k+1＝W^k+(κ+D^k⊙P^k)·Δz_N，

W^k+1为所述当前时间步权重状态，W^k为上一个时间步权重状态，κ为当前时间步权重增量整步长，D^k为所述状态转移方向函数，P^k为所述状态转移概率，k为计算次数，Δz_N为离散相邻状态距离值，并且，L为权重取值范围[-L,L]，N是一个给定的非负整数，Δz_N由权重取值范围[-L,L]和离散权重状态个数(2^N+1)确定。

2.根据权利要求1所述的神经网络权重离散化方法，其特征在于，所述获取上一个时间步权重状态和当前时间步权重增量，包括：

随机初始化权重状态；

根据所述随机初始化权重状态和前向输出误差进行计算，确定上一个时间步权重状态；

根据所述上一个时间步权重状态利用梯度下降算法获取当前时间步权重增量。

3.根据权利要求1所述的神经网络权重离散化方法，其特征在于，在所述根据所述当前时间步权重增量，利用方向函数，获取状态转移方向的步骤之后，所述方法还包括：

根据所述当前时间步权重增量、所述权重取值范围和所述离散权重状态个数，利用分解函数计算所述当前时间步权重增量整步长；

根据所述当前时间步权重增量整步长确定状态转移距离；

则所述根据所述上一个时间步权重状态、所述当前时间步权重增量、所述状态转移方向、所述权重取值范围、所述离散权重状态个数，获取当前时间步权重状态，还包括：

根据所述上一个时间步权重状态、所述当前时间步权重增量、所述状态转移方向、所述状态转移距离、所述权重取值范围、所述离散权重状态个数，获取当前时间步权重状态。