[发明专利]用于生成神经网络的二值权重的方法和系统

权利要求书

1.一种用于神经网络的处理器，该处理器包括：

权重概率分析模块，该权重概率分析模块被配置为基于神经网络的一个或多个层的一组输入权重生成至少表示一组输入权重中的每个所述输入权重与二元值相关联的概率的数据；

方案生成模块，该方案生成模块被配置为针对所述权重的至少一个选定分组，基于针对选定的所述权重确定的概率生成至少表示一个或多个潜在二值权重矩阵的数据；

方案选择模块，该方案选择模块被配置为至少：生成表示每个所述潜在二值权重矩阵的矩阵特定概率值的数据，根据预定编码方法生成用于表示每个所述潜在二值权重矩阵的数据比特数的数据，并且基于所述矩阵特定概率值和所述数据比特数对所述潜在二值权重矩阵进行选择；以及

权重生成模块，该权重生成模块被配置为根据所述选定的潜在二值权重矩阵生成表示一个或多个二值权重的数据。

2.根据权利要求1所述的处理器，其中，所述一组输入权重包括：

选自至少一个所述层的所述输入权重中的一些输入权重；

选自所有所述层的所述输入权重中的一些输入权重；

至少一个所述层的所有所述输入权重；或

所有所述层的所有所述输入权重。

3.根据权利要求1所述的处理器，被配置为将所述输入权重转换为预定权重范围内的对应权重值，并将所述对应权重值用作输入权重。

4.根据权利要求1所述的处理器，被配置为基于以下各项来生成表示每个所述输入权重的所述概率的所述数据：

所述输入权重的不同潜在值与对应概率之间的预定关系；

与所述输入权重相对应的权重的一个或多个先前确定的概率；或

与所述输入权重相对应的权重的一个或多个先前确定的权重值。

5.根据权利要求4所述的处理器，其中，权重的所述先前确定的概率和/或权重的所述先前确定的权重值是基于由神经网络执行的训练事件来确定的。

6.根据权利要求1所述的处理器，被配置为基于预定选择标准来选择所述权重分组。

7.根据权利要求6所述的处理器，其中，所述预定选择标准包括以下中的至少一项：

来自卷积层的内核的选定行的一个或多个权重；

来自卷积层的内核的选定列的一个或多个权重；

来自与卷积层的同一通道相关联的不同内核的一个或多个权重；

来自与卷积层的同一滤波器相关联的不同通道的不同内核的一个或多个权重；

全连接层的一个或多个输入权重；以及

全连接层的一个或多个输出权重。

8.根据权利要求1所述的处理器，被配置为基于表示所述输入权重的概率的所述数据与预定概率阈值的比较来确定每个所述输入权重的二元权重值。

9.根据权利要求8所述的处理器，其中，基于所述比较，将输入权重确定为：

与第一二元值相关联；

与第二二元值相关联；或

与所述第一二元值或所述第二二元值相关联。

10.根据权利要求9所述的处理器，被配置为基于已确定为与所述第一二元值或所述第二二元值相关联的多个所述输入权重来生成多个所述潜在二值权重矩阵，其中，每个所述潜在二值权重矩阵包括与所述输入权重相关联的所述第一二元值或所述第二二元值的不同组合。

11.根据权利要求1所述的处理器，被配置为基于每个所述潜在二值权重矩阵中的输入权重的概率，生成每个所述潜在二值权重矩阵的所述矩阵特定概率。

12.根据权利要求1所述的处理器，其中，所述编码方法是广义游程长度编码和广义霍夫曼编码中的至少一种。