[发明专利]一种用于混合位宽超网络的充分训练方法

权利要求书

1.一种用于混合位宽超网络的充分训练方法，其特征在于，具体步骤如下：

首先，对于含有n个位宽的搜索空间，分别训练各位宽的单精度网络，形成各自的量化网络；对每个量化网络进行训练直至网络收敛，计算不同位宽对应的量化网络中各层量化的误差，形成单精度网络的量化误差Q；

针对量化网络arch_n中第l层的量化误差值q_ln，计算方式如下：

其中，x_ln表示量化网络arch_n中第l层中的全精度数据，x_lnq表示对全精度数据x_ln进行位宽为b_n的量化后的数据；M表示当前层中的数据个数，量化网络的总层数为L，Q＝{q_l}_l＝1:L表示单精度网络的量化误差，其中q_l＝[q_l1,q_l2…q_ln]；

然后，在网络结构的各卷积层中，插入含有候选位宽的量化器来构建混合位宽超网络；在训练混合位宽超网络的每一个轮次开始前，计算当前超网络在每一位宽下的量化误差，形成超网络的量化误差

具体操作方式如下：

首先，将超网络的所有量化器位宽均转换到b₁上，计算此时的所有层的量化误差具体计算方式如下：

其中，表示超网络中第l层中的全精度数据；表示对全精度数据进行位宽为b₁的量化后的数据；

其次，依次将超网络的量化器位宽转换到b₂，b₃，...，b_n上，分别计算在该配置下的超网络量化误差由此，得到超网络的量化误差矩阵其中每一层的量化误差可表示为：

包含了该层n个候选位宽下的量化误差值；

接着，根据超网络的量化误差与单精度网络的量化误差Q之间的差距，动态调整训练轮次中超网络每层位宽的采样概率；

最后，超网络训练完成后，在超网络上进行搜索，从所有候选网络中找到满足精度与计算量权衡的最优候选网络。

2.如权利要求1所述的一种用于混合位宽超网络的充分训练方法，其特征在于，所述对于含有n个位宽的确定网络结构arch，搜索空间为B{b₁,b₂,...,b_n}，分别对网络结构arch中各卷积层的输入与权重进行位宽为b₁到b_n的量化，形成量化网络arch₁,arch₂,...,arch_n。

3.如权利要求1所述的一种用于混合位宽超网络的充分训练方法，其特征在于，所述构建混合位宽超网络，具体插入过程为：

在各卷积层的输入端分别插入输入量化器，在各卷积核部分分别插入权重量化器，每个量化器都有n个候选位宽，对应了搜索空间中的位宽；在训练过程中对每个位宽进行采样，采样完成后每个量化器的位宽将转换到所采样的位宽上，完成输入数据的前向传播过程。

4.如权利要求1所述的一种用于混合位宽超网络的充分训练方法，其特征在于，所述动态调整采样概率的具体过程为：

首先，求取超网络第l层第n个候选位宽的差值时，计算方式为：

若Δ_ln为正数，则代表在位宽b_n下，超网络的第l层的量化误差大于单精度网络的量化误差，该位宽下该层训练还不充分，需要进一步训练；而Δ_ln为负数，则代表该层该位宽下训练误差已经足够小，在接下来的训练中可以减少对该位宽的采样次数；

然后，在误差差值计算完毕后，对Δ_ln中的数值进行调整，保留其正数部分，负数值则置0，表示为：

最后，将每一层卷积各位宽间的量化误差差值进行归一化得到当前轮次各位宽的采样概率：

至此得到了超网络在当前训练轮次中各位宽的采样概率，Δ_ln数值越大，说明当前位宽的训练充分度越低，因而当前轮次对其的采样概率p_ln越大，越容易使得当前位宽下的网络得到训练，从而降低该位宽下网络的量化误差，提升其量化准确度。