[发明专利]用于深度神经网络的基于光标的自适应量化

说明书

深度神经网络(DNN)模型量化可以用于通过减小位宽来减少存储和计算负担。一种用于神经网络的基于光标的自适应量化方法，多位量化机制被公式化为具有代表可能量化位的连续光标的可微架构搜索(DAS)过程。基于光标的DAS自适应地为每个层搜索量化位。DAS过程可以经由为DNN模型的混合量化方案设计的替代性近似优化过程来加速。在搜索过程中使用新的损失函数来同时优化模型的准确度和参数大小。在量化步骤中，可以采用与光标最接近的两个整数作为位来一起量化DNN以减少量化噪声并避免局部收敛问题。

技术领域

本公开大体上涉及用于计算机学习的系统和方法，其可以提供改进的计算机性能、特征和用途。更明确地说，本公开涉及用于有效减小深度神经网络存储器大小的系统和方法。

背景技术

深度学习(DL)已经在诸如游戏、自然语言处理、语音识别、计算机视觉等各种领域取得了很大成功。然而，其巨大计算负担和大量存储器消耗仍然限制了许多潜在应用，尤其是对于移动装置和嵌入式系统来说。

已经投入了许多努力来压缩DL模型的大小并加速其训练和测试速度。这些努力可以大致分为四大类：网络修剪、低秩近似、知识蒸馏和网络量化。其中，网络量化方法以低位(诸如8位或者甚至1位)联合优化整个网络的权重、激活或梯度，在压缩模型大小和加速推理时间方面显示出很大潜力。此外，基于量化的方法对于移动装置和嵌入式系统是优选的，因为这些装置逐渐由专门设计的低位计算硬件来装备。此外，使用量化表示，神经网络的一些操作可以通过逐位操作来实现，从而导致少得多的能量消耗。

虽然现有的基于量化的方法(主要使用固定位方案来表示整个DNN模型)在保持模型性能的同时产生了一些鼓舞人心的压缩比，但是简单地仅使用固定位进行量化可能不是在模型大小与其性能之间进行权衡的最佳选择。

因此，需要用于神经网络模型压缩的改进量化的系统和方法。

发明内容

在第一方面，提供了一种用于减小神经网络的存储器大小的计算机实现方法。神经网络包括多个层，方法包括：响应于没有达到停止条件，执行包括以下各项的步骤：将从包括输入数据和对应地面真值数据的训练数据集获得的训练数据批次输入到神经网络中以获得训练数据输出；给定来自神经网络的训练数据输出和损失函数，确定神经网络的训练数据损失，损失函数包括与神经网络的预测准确度相关的损失分量和与在量化之后的神经网络的参数值的存储器大小相关的压缩分量；使用训练数据损失更新神经网络的参数值中的至少一些；将从包括输入数据和对应地面真值数据的验证数据集获得的验证数据批次输入到神经网络中以获得验证数据输出；给定来自神经网络的验证数据输出和损失函数，确定神经网络的验证数据损失；使用验证数据损失更新神经网络的层中的至少一些的光标值，其中神经网络中的层的光标值与用于表示该层的参数值的存储器大小相关；以及针对层中的至少一些中的每个层，使用界定该层的光标值的两个整数来量化神经网络的该层的参数值，经过量化的参数值用于确定损失函数的压缩分量；以及响应于达到停止条件：输出神经网络的层中的至少一些的最终光标值，其中神经网络的层的最终光标值是用于表示神经网络的该层的参数值的位大小；以及输出神经网络的一组参数值。