[发明专利]深度神经网络模型的压缩方法及装置、终端、存储介质

说明书

一种深度神经网络模型的压缩方法及装置、终端、存储介质。所述方法包括：获取已训练的深度神经网络模型；逐层对所述深度神经网络模型中的各层参数进行量化，对所述深度神经网络模型进行N次迭代量化，直至量化后的深度神经网络模型满足预设的压缩体积需求；其中，首次对所述已训练的深度神经网络模型中的第i层参数，进行如下量化处理：对所述已训练的深度神经网络模型中的第i层参数进行聚类分析，根据聚类分析结果确定对应的量化范围及量化等级；根据所确定的量化等级对第i层的量化范围内的参数进行量化。采用上述方案，可以在对深度神经网络模型压缩时，兼顾深度神经网络模型的精度及有效性。

技术领域

本发明涉及信息处理技术领域，尤其涉及一种深度神经网络模型的压缩方法及装置、终端、存储介质。

背景技术

随着深度神经网络相关技术研究的迅速发展，相关领域内涌现了大批与深度神经网络相关的技术，如应用于视觉领域的卷积神经网络和应用于语音识别或自然语言处理领域的递归神经网络等，这些神经网络技术均极大地提高了相应领域的处理精度。

深度神经网络与浅层学习相比，深度神经网络的开发潜力巨大。通过深度神经网络模型的多层处理结构可以提取和分析样本的表征特征，由浅入深地逐层变换和计算样本特征并计算处理结果。通过对深度神经网络模型进行增宽增长处理，可以使深度神经网络模型获得相对更优的处理结果。

然而，深度神经网络模型的参数通常在百万、千万或上亿数量级，因此对计算和存储设备的要求较高。由于深度神经网络模型存储及计算时深度神经网络模型的参数传输等问题，限制了深度神经网络模型在移动设备上的应用。

目前，通常采用减少深度神经网络模型的参数、节点数目以及改变多样性类方法，达到压缩深度神经网络模型的目的。虽然，这样可以对神经网络模型进行一定的压缩，然而，压缩后的深度神经网络模型的精度及有效性较低。

发明内容

本发明解决的技术问题是在对深度神经网络模型压缩时如何兼顾深度神经网络模型的精度及有效性。

为解决上述技术问题，本发明实施例提供一种深度神经网络模型的压缩方法，包括：获取已训练的深度神经网络模型；逐层对所述深度神经网络模型中的各层参数进行迭代量化，所述迭代量化为对所述深度神经网络模型中的所有层均进行一次量化；对所述深度神经网络模型进行N次迭代量化，直至量化后的深度神经网络模型满足预设的压缩体积需求，N≥0；其中，首次对所述已训练的深度神经网络模型中的第i层参数，进行如下量化处理：对所述已训练的深度神经网络模型中的第i层参数进行聚类分析，根据聚类分析结果确定对应的量化范围及量化等级，i为大于1的自然数；根据所确定的量化等级对第i层的量化范围内的参数进行量化。

可选地，所述根据聚类分析结果确定对应的量化范围及量化等级，包括：根据聚类分析结果中的聚类中心数目及聚类中心值，确定对应的量化范围；根据聚类中心数目及对应的量化范围确定量化等级。

可选地，所述对所述已训练的深度神经网络模型中的第i层参数进行聚类分析，包括：采用减法聚类对所述已训练的深度神经网络模型中的第i层参数进行聚类分析。

可选地，在根据所确定的量化等级对第i层的量化范围内的参数进行量化后，还包括：获取第i层对应的补偿系数；根据第i层的补偿系数及量化后的参数，得到第i层补偿后的量化参数，并将补偿后的量化参数作为第i层的量化参数。

可选地，所述获取第i层对应的补偿系数，包括：根据第i层量化前的参数及量化后的参数，计算得到第i层的补偿系数。

可选地，所述根据第i层量化前的参数及量化后的参数，计算得到第i层的补偿系数，包括：采用如下方式计算得到第i层的补偿系数：其中，α_i为第i层的补偿系数，W_i为量化前的参数，W_i^T为W_i的转置，Q_i为量化后的参数，为Q_i的转置。