[发明专利]神经网络定点化方法、装置、电子设备及可读存储介质

说明书

本申请提供一种神经网络定点化方法、装置、电子设备及可读存储介质，该神经网络定点化方法包括：对于所述神经网络的待定化单元，基于所述神经网络的已定点化单元保持定点化状态的情况下该待定点化单元输出的特征值的数据分布，确定该待定点化单元输出的特征值的定点化超参；基于该定点化超参对该待定点化单元输出的特征值进行定点化。该方法可以提升神经网络定点化的性能。

技术领域

本申请涉及深度学习技术，尤其涉及一种神经网络定点化方法、装置、电子设备及可读存储介质。

背景技术

神经网络定点化是一种常用的模型加速算法，通过将模型的权值参数以及输出的特征值量化成固定比特的数，如8bit、16bit或极低的1、2bit，可以很好的解决在硬件上浮点数据带来的乘累加计算复杂、带宽巨大等问题。模型量化的比特数越低，模型在硬件上的加速越明显。

目前的神经网络定点化方案中，一次性给原始模型输入一定数量的样本图片，模型前向运算将每一层输出的特征值的数据分布记录下来，再分别计算各层输出的特征值的定点化超参，未考虑前置层定点化后对后置层的影响，神经网络定点化的性能较低。

发明内容

有鉴于此，本申请提供一种神经网络定点化方法、装置、电子设备及可读存储介质。

具体地，本申请是通过如下技术方案实现的：

根据本申请实施例的第一方面，提供一种神经网络定点化方法，包括：

对于神经网络的待定化单元，基于所述神经网络的已定点化单元保持定点化状态的情况下该待定点化单元输出的特征值的数据分布，确定该待定点化单元输出的特征值的定点化超参；

基于该定点化超参对该待定点化单元输出的特征值进行定点化。

根据本申请实施例的第二方面，提供一种神经网络定点化方法，包括：

对于神经网络的待定点化单元，基于所述神经网络的已定点化单元保持定点化状态的情况下该待定点化单元输出的特征值，以及，原始浮点状态下该待定点化单元输出的特征值，对该待定点化单元的权值参数进行优化；

对优化后的该待定点化单元进行定点化。

根据本申请实施例的第三方面，提供一种神经网络定点化方法，包括：

对输入的浮点模型的拓扑结构进行解析，以生成神经网络数据流图；

基于配置文件中的样本图片信息，生成所述神经网络的数据层；

基于待部署平台的优化策略，对所述神经网络的拓扑结构进行拆分和融合，以得到预处理后的浮点模型；

基于上述方法对所述预处理后的浮点模型进行定点化。

根据本申请实施例的第四方面，提供一种神经网络定点化装置，包括：

确定模块，用于对于神经网络的待定化单元，基于所述神经网络的已定点化单元保持定点化状态的情况下该待定点化单元输出的特征值的数据分布，确定该待定点化单元输出的特征值的定点化超参；

定点化模块，用于基于该定点化超参对该待定点化单元输出的特征值进行定点化。

根据本申请实施例的第五方面，提供一种神经网络定点化装置，包括：

优化模块，用于对于神经网络的待定点化单元，基于所述神经网络的已定点化单元保持定点化状态的情况下该待定点化单元输出的特征值，以及，原始浮点状态下该待定点化单元输出的特征值，对该待定点化单元的权值参数进行优化；

定点化模块，用于对优化后的该待定点化单元进行定点化。

根据本申请实施例的第六方面，提供一种神经网络定点化装置，包括：