[发明专利]神经网络定点化方法、装置、电子设备及可读存储介质

权利要求书

1.一种神经网络定点化方法，其特征在于，包括：

对于神经网络的待定点化单元，基于所述神经网络的已定点化单元保持定点化状态的情况下该待定点化单元输出的特征值的数据分布，确定该待定点化单元输出的特征值的定点化超参；

基于该定点化超参对该待定点化单元输出的特征值进行定点化。

2.根据权利要求1所述的方法，其特征在于，在确定该待定点化单元输出的特征值的定点化超参之后，还包括：

基于该待定点化单元输出的特征值的定点化超参，确定第一定点化超参候选值范围；

从该第一定点化超参候选值范围中确定该待定点化单元输出的特征值的最终定点化超参；

所述基于该定点化超参对该待定点化单元输出的特征值进行定点化，包括：

基于该待定点化单元输出的特征值的最终定点化超参对该待定点化单元输出的特征值进行定点化。

3.根据权利要求2所述的方法，其特征在于，所述从该第一定点化超参候选值范围中确定该待定点化单元输出的特征值的最终定点化超参，包括：

分别确定该第一定点化超参候选值范围中各候选值对应的神经网络的输出误差；

将对应的神经网络的输出误差最小的候选值，确定为该待定点化单元输出的特征值的最终定点化超参。

4.根据权利要求3所述的方法，其特征在于，所述分别确定该第一定点化超参候选值范围中各候选值对应的神经网络的输出误差，包括：

对于任一候选值，基于第一类型特征值以及第二类型特征值确定该候选值对应的神经网络的输出误差；其中，所述第一类型特征值为使用该候选值对该待定点化单元输出的特征值进行定点化时，所述神经网络各单元输出的特征值；所述第二类型特征值为原始浮点状态下，所述神经网络各单元输出的特征值。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：

对于所述神经网络的待定点化单元，基于该待定点化单元的权值参数的数据分布，确定该待定点化单元的权值参数的定点化超参；

基于该待定点化单元的权值参数的定点化超参，确定第二定点化超参候选值范围；

从该第二定点化超参候选值范围中确定该待定点化单元的权值参数的最终定点化超参；

基于该待定点化单元的权值参数的最终定点化超参对该待定点化单元的权值参数进行定点化。

6.根据权利要求5所述的方法，其特征在于，所述从该第二定点化超参候选值范围中确定该待定点化单元的权值参数的最终定点化超参，包括：

分别确定该第二定点化超参候选值范围中各候选值对应的神经网络的输出误差；

将对应的神经网络的输出误差最小的候选值，确定为该待定点化单元的权值参数的最终定点化超参。

7.根据权利要求6所述的方法，其特征在于，所述分别确定该第二定点化超参候选值范围中各候选值对应的神经网络的输出误差，包括：

对于任一候选值，基于第三类型特征值以及第四类型特征值确定该候选值对应的神经网络的输出误差；其中，所述第三类型特征值为使用该候选值对该待定点化单元的权值参数进行定点化时，所述神经网络各单元输出的特征值；所述第四类型特征值为原始浮点状态下，所述神经网络各单元输出的特征值。

8.根据权利要求1-7任一项所述的方法，其特征在于，对于所述神经网络的待定点化单元，所述基于所述神经网络的已定点化单元保持定点化状态的情况下该待定点化单元输出的特征值的数据分布，确定该待定点化单元输出的特征值的定点化超参之前，还包括：

基于所述神经网络的已定点化单元保持定点化状态的情况下该待定点化单元输出的特征值，以及，原始浮点状态下该待定点化单元输出的特征值，对该待定点化单元的权值参数进行优化。