[发明专利]神经网络模型的压缩与加速方法、数据处理方法及装置

说明书

一种神经网络模型的压缩与加速方法、数据处理方法及装置、存储介质。神经网络模型包括线性层，神经网络模型的参数包括预备权值参数；压缩与加速方法包括：对神经网络模型的参数进行量化，以得到量化模型，量化模型的参数包括线性层的量化权值参数；以及，对量化模型进行尺度变换处理，以得到目标量化模型。对量化模型进行尺度变换处理，包括：基于线性层的输出神经元的数量或线性层的预备权值参数的标准差，计算线性层的尺度变换参数；以及，基于线性层的尺度变换参数，对线性层的量化权值参数进行尺度变换处理，以得到线性层的标准量化权值参数。

技术领域

本公开的实施例涉及一种神经网络模型的压缩与加速方法、数据处理方法及装置、存储介质。

背景技术

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

发明内容

本公开至少一个实施例提供一种神经网络模型的压缩与加速方法，所述神经网络模型包括线性层，所述神经网络模型的参数包括预备权值参数，所述压缩与加速方法包括：对所述神经网络模型的参数进行量化，以得到量化模型，所述量化模型的参数包括所述线性层的量化权值参数；以及对所述量化模型进行尺度变换处理，以得到目标量化模型；其中，对所述量化模型进行所述尺度变换处理，包括：基于所述线性层的输出神经元的数量或所述线性层的预备权值参数的标准差，计算所述线性层的尺度变换参数；以及基于所述线性层的尺度变换参数，对所述线性层的量化权值参数进行所述尺度变换处理，以得到所述线性层的标准量化权值参数。

例如，在本公开一些实施例提供的压缩与加速方法中，所述线性层包括从卷积层、递归层和全连接层组成的群组中选择的至少一个。

例如，在本公开一些实施例提供的压缩与加速方法中，所述线性层未被批量归一化层直接跟随。

例如，在本公开一些实施例提供的压缩与加速方法中，对所述神经网络模型的参数进行量化，以得到所述量化模型，包括：对所述线性层的预备权值参数进行钳位处理，以得到所述线性层的钳位权值参数；以及对所述线性层的钳位权值参数进行量化处理，以得到所述线性层的量化权值参数。

例如，在本公开一些实施例提供的压缩与加速方法中，基于所述线性层的输出神经元的数量，计算所述线性层的尺度变换参数，包括：根据第一尺度变换参数计算公式计算所述线性层的尺度变换参数，所述第一尺度变换参数计算公式表示为：

其中，RSF表示所述线性层的尺度变换参数，表示所述线性层的输出神经元的数量，Q表示所述线性层的量化权值矩阵，VAR(Q)表示所述线性层的量化权值矩阵的元素的方差。

例如，在本公开一些实施例提供的压缩与加速方法中，所述线性层的量化权值参数的比特位的位数为1-8。

例如，在本公开一些实施例提供的压缩与加速方法中，所述线性层的量化权值参数的比特位的位数为1-2。

例如，在本公开一些实施例提供的压缩与加速方法中，基于所述线性层的输出神经元的数量，计算所述线性层的尺度变换参数，包括：根据第二尺度变换参数计算公式计算所述线性层的尺度变换参数，所述第二尺度变换参数计算公式表示为：

其中，RSF表示所述线性层的尺度变换参数，表示所述线性层的输出神经元的数量，/表示所述线性层的辅助权值矩阵，/表示所述线性层的辅助权值矩阵的元素的方差；

所述线性层的辅助权值矩阵表示为：