[发明专利]深度神经网络模型压缩方法及装置、存储介质、终端

权利要求书

1.一种深度神经网络模型的压缩方法，其特征在于，包括：

获取已训练的深度神经网络模型；

对所述深度神经网络的所有层进行遍历，获取遍历到的当前层的参数；

基于参数的密集度和延展范围对遍历到的当前层的参数进行量化，直至所述深度神经网络的所有层遍历完成，得到量化后的深度神经网络模型。

2.根据权利要求1所述的深度神经网络模型的压缩方法，其特征在于，所述基于参数的密集度和延展范围对遍历到的当前层的参数进行量化，包括：

对当前层的参数进行聚类分析，得到当前层对应的聚类中心数和聚类中心值；

基于聚类分析结果中的聚类中心数目及聚类中心值，确定当前层对应的量化范围；

采用所确定的量化等级，将当前层的量化范围内的参数进行量化，得到当前层的量化参数。

3.根据权利要求2所述的深度神经网络模型的压缩方法，其特征在于，在得到当前层的量化参数之后，还包括：

计算得到当前层的量化补偿系数；

采用计算计算得到的量化补偿系数对当前层的量化参数进行补偿，得到当前层补偿后的量化参数，并作为当前层的量化参数。

4.根据权利要求3所述的深度神经网络模型的压缩方法，其特征在于，采用如下的公式计算得到当前层的量化补偿系数，包括：

其中，W_i表示量化前的参数矩阵，W_i^T表示量化前的参数的转置矩阵，Q_i表示量化后的参数矩阵，表示量化后的参数的转置矩阵。

5.根据权利要求1所述的深度神经网络模型的压缩方法，其特征在于，还包括：对量化后的深度神经网络模型进行重新训练。

6.一种深度神经网络模型的压缩装置，其特征在于，包括：

获取单元，适于获取已训练的深度神经网络模型；

量化单元，适于对所述深度神经网络的所有层进行遍历，获取遍历到的当前层的参数；基于参数的密集度和延展范围对遍历到的当前层的参数进行量化，直至所述深度神经网络的所有层遍历完成，得到量化后的深度神经网络模型。

7.根据权利要求6所述的深度神经网络模型的压缩装置，其特征在于，所述量化单元，适于对当前层的参数进行聚类分析，得到当前层对应的聚类中心数和聚类中心值；基于聚类分析结果中的聚类中心数目及聚类中心值，确定当前层对应的量化范围；采用所确定的量化等级，将当前层的量化范围内的参数进行量化，得到当前层的量化参数。

8.根据权利要求7所述的深度神经网络模型的压缩装置，其特征在于，还包括：

补偿单元，适于在得到当前层的量化参数之后，计算得到当前层的量化补偿系数；采用计算计算得到的量化补偿系数对当前层的量化参数进行补偿，得到当前层补偿后的量化参数，并作为当前层的量化参数。

9.根据权利要求8所述的深度神经网络模型的压缩装置，其特征在于，所述补偿单元，适于采用如下的公式计算得到当前层的量化补偿系数：

其中，W_i表示量化前的参数矩阵，W_i^T表示量化前的参数的转置矩阵，Q_i表示量化后的参数矩阵，表示量化后的参数的转置矩阵。

10.根据权利要求6所述的深度神经网络模型的压缩装置，其特征在于，还包括：

训练单元，适于对量化后的深度神经网络模型进行重新训练。

11.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求1至5任一项所述的深度神经网络模型的压缩方法的步骤。

12.一种终端，其特征在于，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令；所述处理器运行所述计算机指令时执行权利要求1至5任一项所述的深度神经网络模型的压缩方法的步骤。