[发明专利]用于转换到较低精度数据格式的自动方法

权利要求书

1.一种用于压缩数据的方法，所述方法包括：

参考神经网络的层的激活数据；

创建激活直方图，所述直方图包括多个仓，其中所述激活数据分布在所述多个仓上；

基于所述直方图生成多个候选转换，所述多个候选转换中的每个转换具有不同的饱和度阈值；

根据校准数据集确定所述多个候选转换中的每个转换的散度；以及

根据参考较高精度分布选择与具有最小散度的转换相对应的饱和度阈值，

其中所述多个候选转换以较低精度格式表达，

进一步地，其中所述校准数据集和所述激活数据中的至少一个以较高精度格式表达。

2.根据权利要求1所述的方法，其中所述创建、所述生成、所述确定以及所述选择是针对所述神经网络的每个层执行的。

3.根据权利要求1所述的方法，其中所述确定所述散度包括应用度量用于测量所述多个候选转换与所述参考较高精度分布之间的定向散度。

4.根据权利要求3所述的方法，其中所述度量包括确定Kullback-Leibler散度。

5.根据权利要求1所述的方法，其中所述多个候选转换包括所述神经网络的所述层的激活的多个量化分布，所述多个量化分布对应于0与所述激活数据中所包括的最大绝对值之间的值范围。

6.根据权利要求1所述的方法，其中参考激活数据包括参考来自存储装置的激活数据，所述激活数据包括通过将神经网络应用于所述校准数据集的代表性部分而生成的输出数据。

7.根据权利要求6所述的方法，其中所述参考来自存储装置的激活数据包括：

将所述神经网络应用于所述校准数据集的代表性部分；

生成与通过将所述神经网络应用于所述代表性部分而产生的输出相对应的激活数据，所述输出以所述较高精度格式表达；

收集所述激活数据；以及

将所述激活数据存储在存储装置中。

8.根据权利要求1所述的方法，其中所述生成所述多个候选转换包括：

确定所述多个候选转换的候选转换数量；

迭代地从多个饱和度阈值中选择特定阈值以便与所述多个候选转换中的特定候选转换相对应；

合并来自所述直方图的连续序列的仓的数据值，直到所述直方图中剩余仓的数量对应于所述较低精度格式的最高绝对值；以及

收集所述多个候选转换。

9.根据权利要求8所述的方法，其中对于特定阈值，将来自所述直方图的高于所述特定阈值的所有值钳位到所述特定阈值。

10.根据权利要求8所述的方法，其中所述合并数据值包括以基本上均匀的区间将来自所述直方图的低于所述特定阈值的连续序列的仓合并。

11.根据权利要求10所述的方法，其中合并连续值包括：

通过多个分布区间划分所述直方图的所述仓；

基于所述划分确定商值；以及

对于所述多个分布区间中的每个分布区间，顺序地合并来自所述直方图的所述仓的N个值，其中N等于所述商值。

12.根据权利要求11所述的方法，其中所述多个分布区间对应于由所述较低精度格式表达的绝对值。

13.根据权利要求10所述的方法，其中所述较低精度格式包括8位整数(INT8)数据格式。

14.根据权利要求11所述的方法，其中所述多个分布区间包括127个分布区间。

15.根据权利要求1所述的方法，其中所述较高精度格式包括32位浮点(FP32)数据格式。