[发明专利]一种用于混合位宽超网络的充分训练方法

说明书

本发明公开了一种用于混合位宽超网络的充分训练方法，属于机器学习领域。具体步骤为：首先，对于含有特定位宽的搜索空间，分别训练其在各位宽下的单精度网络直至收敛，计算并记录不同位宽下网络各层量化误差，形成单精度网络的量化误差。然后，对该搜索空间构建包含所有位宽的混合位宽超网络，并在训练的每一个轮次中，计算超网络各层在每一位宽下的量化误差；进一步根据各层各位宽下的量化误差与单精度网络的量化误差对比，调整下一轮次超网络中的各位宽采样概率。最后，采用强化学习算法对超网络进行搜索，得到最优的位宽配置。本发明在搜索时可对各个子网进行准确评估，有效提升子网络精度和搜索得到的最优解性能。

技术领域

本发明属于机器学习领域，具体是指一种用于混合位宽超网络的充分训练方法。

背景技术

近十年来，深度学习由于在特征提取和模型建构上相较于浅层模型的巨大优势，受到了越来越多研究者的关注，在计算机视觉和文字识别等领域均获得了快速发展。

深度学习以深度神经网络为主要呈现形式，而卷积神经网络(ConvolutionalNeural Network，CNN)则是其中因生物神经学科启发而生的开创性研究成果之一。相较于传统方法，卷积神经网络具有权值共享、局部连接和池化操作等特性，因而可有效减少全局优化训练参数、降低模型复杂度，使网络模型对于输入的缩放、平移以及扭曲具有一定程度的不变性。在这种特性的优势作用下，卷积神经网络在包括图像分类、目标检测识别、语义分割在内的众多计算机视觉任务中都表现出了卓越的性能。

尽管卷积神经网络在诸多视觉任务中都展现了可靠的效果，然而巨大的存储及计算开销限制了其在目前广为流行的便携式设备上的应用，为了拓展卷积神经网络的应用，模型的压缩和加速成为了计算机视觉领域内的热点问题。

目前针对卷积神经网络的压缩方法主要分为三类：

一是网络剪枝方法。该方法的基本思想为：性能较好的卷积神经网络往往具有更复杂的结构，但其中有些参数对最终的输出结果贡献不大而显得冗余，因此对于一个已有的卷积神经网络，可以寻找一种有效的卷积核通道重要性评判手段，剪掉相应冗余卷积核参数，提高神经网络的效率。在该种方法中，评判手段对于模型性能有十分重要的影响。

二是神经网络结构搜索方法。该方法可在一定范围的搜索空间内，通过良好的搜索算法让机器自动搜索出速度快、精度高的网络，实现网络压缩的目的。该方法的关键是建立一个庞大的网络体系结构空间，通过有效的网络搜索算法来探索空间，并在训练数据和计算量约束(例如，网络大小和延迟)的特定组合下，搜索最佳的卷积神经网络架构。

三是网络量化方法。该方法通过将32位全精度网络权重参数量化为更低位参数(如8-bit，4-bit，1-bit等)，以此获得低比特网络。该方法能够有效降低参数冗余，从而减少存储占用、通信带宽和计算复杂度，有助于深度网络在人工智能芯片等轻量级应用场景下的应用。

在网络量化方法中，混合位宽量化致力于探究网络各层的量化敏感性，并依据此为网络中的每一层分配最为适宜的位宽。超网络搜索法是混合位宽量化的重要方法之一，首先设定一个包含多个位宽的搜索空间，并构造一个包含所有可选位宽的超网络，接着通过在训练过程中采样不同位宽的子网实现对混合位宽超网络的训练。训练完成的超网络可利用演化学习等算法进行搜索，以得到使得网络在限定资源约束下测试准确度最高的混合位宽子网。然而在混合位宽超网络的训练过程中，由于子网络训练不充分，往往会导致子网络精度退化，进而影响搜索过程对各个子网评估的准确性，最终导致搜索陷入次优解的问题。

如何解决超网络训练中子网络训练不充分导致的精度退化问题，提升子网络的准确度，成为了目前有待深入研究的问题。

发明内容