[发明专利]一种强化学习自动感知权重分布的卷积神经网络量化方法

权利要求书

1.一种强化学习自动感知权重分布的卷积神经网络量化方法，所述方法包括以下步骤：

提供训练完毕的浮点卷积神经网络模型；

归一化处理输入数据以与所述浮点卷积神经网络模型的第一层卷积的参数融合；

将每层批处理操作的参数与卷积操作的权重融合得到融合后的权重和偏置，获取浮点卷积神经网络模型中每一层融合后的权重的分布信息；

根据每层权重的分布信息强化学习自动搜索最优的每层权重缩放系数，固定所述的每层权重缩放系数，基于每层权重缩放系数将浮点权重量化成INT8类型数据；

输入校准数据集，每输入一组数据记录每层输出特征图，选取众数作为每层输出特征图的缩放系数，根据每层权重的缩放系数和每层输出特征图的缩放系数计算得到每层偏置的缩放系数以将浮点的偏置量化为INT32类型的偏置，

基于INT8类型数据、INT32类型的偏置和总的缩放系数构建前向推理过程完成量化，其中，总的缩放系数为输入数据的缩放系数×权重的缩放系数÷输出特征图的缩放系数。

2.根据权利要求1所述的方法，其中，优选的，构建前向推理过程包括：输入INT8类型数据的图像数据，INT8的输入与第一层的INT8的权重做卷积计算，得到INT32类型的结果，然后与INT32类型的偏置相加，最后除以总的缩放系数得到INT8的输出数据，然后将所述输出数据输入到下一层，进行相同的操作。

3.根据权利要求1所述的方法，其中，浮点卷积神经网络模型为纯浮点卷积神经网络模型。

4.根据权利要求1所述的方法，其中，权重的分布信息包括浮点权重数据中的最大值，最小值，均值，方差，尖度，峰度，数据量和计算类型，其中，所述最大值，最小值，均值，方差和数据量通过原始数据获得，所述尖度和峰度通过权重的数据构建直方图获得，所述计算类型包括标准卷积计算、深度卷积计算和全连接计算类型。

5.根据权利要求1所述的方法，其中，权重的缩放系数和输出特征图的缩放系数均为2的次幂。

6.根据权利要求1所述的方法，其中，批处理操作的参数包括均值、方差、缩放系数、偏移量，卷积操作的参数包括权重。

7.根据权利要求1所述的方法，其中，强化学习自动搜索最优缩放系数包括，构建强化学习智能体，输入权重的分布信息，输出每一层的缩放系数，根据所述缩放系数量化浮点卷积神经网络模型，并且获得测试集上的量化后准确率，计算浮点卷积神经网络模型的原始准确率和量化准确率的差值，将所述差值反馈给强化学习智能体进行参数的迭代更新，直到所述强化学习智能体收敛并得到最优的权重缩放系数。