[发明专利]量化定点模型的训练方法、装置及电子设备

说明书

本申请实施例提供了一种量化定点模型的训练方法、装置及电子设备，其中方法包括：获取标准浮点训练数据和标准定点训练数据；根据深度学习浮点模型、初始深度学习定点模型、标准浮点训练数据、标准定点训练数据、预设构造函数、预设相似度计算函数确定与深度学习浮点模型对应的量化定点模型。这样，可以通过预设构造函数、预设相似度计算函数获取与深度学习浮点模型匹配的深度学习定点模型，能快速实现深度学习浮点模型量化为深度学习定点模型，提高量化的精度。

技术领域

本申请涉及神经网络技术领域，尤其涉及一种量化定点模型的训练方法、装置及电子设备。

背景技术

现有的深度学习模型的量化处理过程一般分为两个大类，第一类为训练量化处理过程，是指在深度学习模型训练时加入量化操作，在训练完成后就可以得到量化好的深度学习模型训练；第二类为后量化处理过程，指训练深度学习模型时不加入量化操作，在训练深度学习模型完成后，通过附加的量化方案来得到量化好的深度学习模型。

现有技术中后量化处理过程的流程为：(1)向深度学习模型输入训练数据或测试数据；(2)使用深度学习浮点模型进行推理；(3)统计深度学习浮点模型的输出信息；(4)对统计的输出信息进行截断映射；(5)修改深度学习浮点模型的参数映射为定点；(5)输出深度学习定点模型。在上述过程中，步骤(1)中要求用户提供训练或者测试的数据集，一般来说，训练或者测试的数据集为上千张图片，以确保在步骤(3)中可以获得与训练相同的输出信息。现有技术中后量化处理过程存在量化精度比较低的问题。

发明内容

为了解决上述技术问题，本申请实施例提供了一种量化定点模型的训练方法、装置及电子设备。

第一方面，本申请实施例提供了一种量化定点模型的训练方法，所述方法包括：

获取标准浮点训练数据和标准定点训练数据；

通过深度学习浮点模型对所述标准浮点训练数据进行训练，得到所述深度学习浮点模型各隐藏层的第一浮点输出数据，获取各隐藏层的第一浮点输出数据对应的第一波动表征数据；

通过初始深度学习定点模型对所述标准定点训练数据进行训练，得到所述初始深度学习定点模型各隐藏层的第一定点输出数据，获取各隐藏层的第一定点输出数据对应的第二波动表征数据；

根据各所述第一波动表征数据、各所述第二波动表征数据，确定预设构造函数的第一结果；根据所述深度学习浮点模型的各隐藏层的第一浮点输出数据、所述初始深度学习定点模型的各隐藏层的第一定点输出数据，确定预设相似度计算函数的第二结果；根据所述第一结果和所述的第二结果对所述初始深度学习定点模型的权重参数进行调整，得到修正深度学习定点模型；

根据所述修正深度学习定点模型、所述第一波动表征数据、所述标准浮点训练数据和所述标准定点训练数据确定所述预设构造函数的第三结果和所述预设相似度计算函数的第四结果；

若所述第一结果与所述第三结果的第一变化趋势为降低趋势，且所述第二结果与所述第四结果的第二变化趋势为降低趋势，则将所述修正深度学习定点模型确定为所述深度学习浮点模型对应的量化定点模型。

第二方面，本申请实施例提供了一种量化定点模型的训练装置，所述装置包括：

获取模块，用于获取标准浮点训练数据和标准定点训练数据；

第一训练模块，用于通过深度学习浮点模型对所述标准浮点训练数据进行训练，得到所述深度学习浮点模型各隐藏层的第一浮点输出数据，获取各隐藏层的第一浮点输出数据对应的第一波动表征数据；

第二训练模块，用于通过初始深度学习定点模型对所述标准定点训练数据进行训练，得到所述初始深度学习定点模型各隐藏层的第一定点输出数据，获取各隐藏层的第一定点输出数据对应的第二波动表征数据；