[发明专利]深度神经网络模型压缩方法及装置、存储介质、终端

说明书

一种深度神经网络模型的压缩方法及装置、终端、存储介质，所述方法包括：获取已训练的深度神经网络模型；对所述深度神经网络的所有层进行遍历，获取遍历到的当前层的参数；基于参数的密集度和延展范围对遍历到的当前层的参数进行量化，直至所述深度神经网络的所有层遍历完成，得到量化后的深度神经网络模型。上述的方案，可以在对深度神经网络模型压缩时，提高兼顾深度神经网络模型的精度及有效性。

技术领域

本发明涉及信息处理技术，尤其涉及一种深度神经网络模型的压缩方法及装置、终端、存储介质。

背景技术

随着深度神经网络相关技术研究的迅速发展，相关领域内涌现了大批与深度神经网络相关的技术，如应用于视觉领域的卷积神经网络和应用于语音识别或自然语言处理领域的递归神经网络等，这些神经网络技术均极大地提高了相应领域的处理精度。

深度神经网络与浅层学习相比，深度神经网络具有巨大的开发潜力。通过深度神经网络模型的多层处理结构可以提取和分析样本的表征特征，由浅入深地逐层变换和计算样本特征并计算处理结果。通过对深度神经网络模型进行增宽增长处理，可以使深度神经网络模型获得相对更优的处理结果。

深度神经网络模型的参数通常在百万、千万或上亿数量级，因此对计算和存储设备的要求较高。由于深度神经网络模型存储及计算时深度神经网络模型的参数传输等问题，限制了深度神经网络模型在移动设备上的应用。目前，通常采用减少深度神经网络模型的参数、节点数目以及改变多样性类方法，达到压缩深度神经网络模型的目的。但是，压缩后的深度神经网络模型存在着精度和有效性较低的问题。

发明内容

本发明解决的技术问题是在对深度神经网络模型压缩时，如何兼顾精度及有效性。

为解决上述技术问题，本发明实施例提供一种深度神经网络模型的压缩方法，包括：获取已训练的深度神经网络模型；对所述深度神经网络的所有层进行遍历，获取遍历到的当前层的参数；基于参数的密集度和延展范围对遍历到的当前层的参数进行量化，直至所述深度神经网络的所有层遍历完成，得到量化后的深度神经网络模型。

可选地，所述基于参数的密集度和延展范围对遍历到的当前层的参数进行量化，包括：对当前层的参数进行聚类分析，得到当前层对应的聚类中心数和聚类中心值；基于聚类分析结果中的聚类中心数目及聚类中心值，确定当前层对应的量化范围；采用所确定的量化等级，将当前层的量化范围内的参数进行量化，得到当前层的量化参数。

可选地，在得到当前层的量化参数之后，所述方法还包括：计算得到当前层的量化补偿系数；采用计算计算得到的量化补偿系数对当前层的量化参数进行补偿，得到当前层补偿后的量化参数，并作为当前层的量化参数。

可选地，采用如下的公式计算得到当前层的量化补偿系数，包括：其中，W_i表示量化前的参数矩阵，表示量化前的参数的转置矩阵，Q_i表示量化后的参数矩阵，表示量化后的参数的转置矩阵。

可选地，所述方法还包括：对量化后的深度神经网络模型进行重新训练。

本发明实施例还提供了一种深度神经网络模型的压缩装置，包括：获取单元，适于获取已训练的深度神经网络模型；量化单元，适于对所述深度神经网络的所有层进行遍历，获取遍历到的当前层的参数；基于参数的密集度和延展范围对遍历到的当前层的参数进行量化，直至所述深度神经网络的所有层遍历完成，得到量化后的深度神经网络模型。

可选地，所述量化单元，适于对当前层的参数进行聚类分析，得到当前层对应的聚类中心数和聚类中心值；基于聚类分析结果中的聚类中心数目及聚类中心值，确定当前层对应的量化范围；采用所确定的量化等级，将当前层的量化范围内的参数进行量化，得到当前层的量化参数。