[发明专利]一种神经网络的量化参数确定方法及相关产品

说明书

本技术方案涉及一种神经网络的量化参数确定方法及相关产品，相关产品中的板卡包括：存储器件、接口装置和控制器件以及人工智能芯片；其中，所述人工智能芯片与所述存储器件、所述控制器件以及所述接口装置分别连接；所述存储器件，用于存储数据；所述接口装置，用于实现所述人工智能芯片与外部设备之间的数据传输；所述控制器件，用于对所述人工智能芯片的状态进行监控。所述板卡可以用于执行人工智能运算。

技术领域

本公开的实施例涉及一种神经网络的量化参数确定方法及相关产品。

背景技术

神经网络(neural network，NN)是一种模仿生物神经网络的结构和功能的数学模型或计算模型。神经网络通过样本数据的训练，不断修正网络权值和阈值使误差函数沿负梯度方向下降，逼近期望输出。它是一种应用较为广泛的识别分类模型，多用于函数逼近、模型识别分类、数据压缩和时间序列预测等。

在实际运用中，神经网络的数据常用32Bit，现有的神经网络的数据占用的比特位较多，虽然确保了精度，但是需要较高的存储空间以及处理带宽，提高了成本。

发明内容

为了解决上述所述的技术问题，本公开提出一种神经网络的量化参数确定方法及相关产品。

为实现上述目的，本公开提供一种神经网络的量化参数确定方法，所述方法包括：

获取每种待量化数据的统计结果；其中，所述待量化数据包括所述神经网络的神经元、权值、梯度、偏置中的至少一种数据；

利用每种待量化数据的统计结果以及数据位宽确定对应量化参数；其中，所述量化参数用于人工智能处理器对神经网络运算过程中的数据进行对应量化。

为实现上述目的，本公开提供一种神经网络的量化参数确定装置，包括存储器及处理器，所述存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。

为实现上述目的，本公开提供一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述所述的方法的步骤。

为实现上述目的，本公开提供一种神经网络的量化参数确定设备，所述设备包括：

统计结果获取单元，用于获取每种待量化数据的统计结果；其中，所述待量化数据包括所述神经网络的神经元、权值、梯度、偏置中的至少一种数据；

量化参数确定单元，用于利用每种待量化数据的统计结果以及数据位宽确定对应量化参数；其中，所述量化参数用于人工智能处理器对神经网络运算过程中的数据进行对应量化。

在神经网络运算过程中，量化时利用本公开的技术方案确定量化参数，该量化参数用于人工智能处理器对神经网络运算过程中的数据进行量化，将高精度数据转换为低精度定点数，可以减少神经网络运算过程中涉及的数据存储所有的空间大小。例如：float32转化为fix8可以将模型参数减少4倍。由于数据存储空间变小，使得神经网络部署时使用更小的空间，使得人工智能处理器芯片上的片上内存可以容纳更多的数据，减少了人工智能处理器芯片访存数据，提高计算性能。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。

图1为神经网络结构示意图；

图2为本申请提出的一种神经网络的量化参数确定方法流程图；

图3为对称的定点数表示示意图；

图4为引入偏移量的定点数表示示意图；

图5a为训练过程中神经网络的权值数据变动幅度曲线图之一；