[发明专利]文本特征提取模型的量化方法、装置、设备及存储介质

说明书

本公开实施例公开了一种文本特征提取模型的量化方法、装置、设备及存储介质。所述方法包括：在文本特征提取模型训练过程中，根据目标量化参数确定与目标量化参数对应的量化区间；其中，量化区间包含目标量化参数中的部分浮点值；根据量化区间构建目标量化参数的浮点值与定点值的映射关系；其中，目标量化参数中小于量化区间左端点的浮点值映射为量化后的最小定点值，目标量化参数中大于量化区间右端点的浮点值映射为量化后的最大定点值；基于映射关系对目标量化参数进行量化操作。本公开实施例提供的文本特征提取模型的量化方法，在保证提高文本特征提取模型的运行速度的同时，可有效提高文本特征提取模型的精度。

技术领域

本公开实施例涉及计算机技术领域，尤其涉及一种文本特征提取模型的量化方法、装置、设备及存储介质。

背景技术

在自然语言处理中，文本特征提取模型得到了越来越广泛的应用，目前较热门的文本特征提取模型是Transformer模型及其各种变体模型，这些模型都在各种自然语言处理任务上取得了最好的效果。但是，文本特征提取模型的模型参数量和计算量较大，并且受计算机存储能力和计算能力的限制，给文本特征提取模型的快速推理以及模型在移动端的部署带来了很大的问题。

目前，针对这个问题，最直接的解决方法就是对文本特征提取模型进行量化，也即将基于高精度浮点数表示的模型转换为低精度表示，例如把32位浮点数转换为8位整型数。这样模型的参数量和物理体积直接变为了原来的1/4，在移动端等GPU匮乏的终端上推理速度大大加快，效果立竿见影。但对文本特征提取模型进行量化后，会使文本特征提取模型的准确率大大下降，因此，对文本特征提取模型的量化方法进行优化，减小准确率上的损失，变得至关重要。

发明内容

本公开实施例提供一种文本特征提取模型的量化方法、装置、设备及存储介质，在保证提高文本特征提取模型的运行速度的同时，可有效提高文本特征提取模型的精度。

第一方面，本公开实施例提供了一种文本特征提取模型的量化方法，包括：

在文本特征提取模型训练过程中，根据目标量化参数确定与所述目标量化参数对应的量化区间；其中，所述量化区间包含所述目标量化参数中的部分浮点值；

根据所述量化区间构建所述目标量化参数的浮点值与定点值的映射关系；其中，所述目标量化参数中小于所述量化区间左端点的浮点值映射为量化后的最小定点值，所述目标量化参数中大于所述量化区间右端点的浮点值映射为量化后的最大定点值；

基于所述映射关系对所述目标量化参数进行量化操作。

第二方面，本公开实施例还提供了一种文本特征提取模型的量化装置，包括：

量化区间确定模块，用于在文本特征提取模型训练过程中，根据目标量化参数确定与所述目标量化参数对应的量化区间；其中，所述量化区间包含所述目标量化参数中的部分浮点值；

映射关系构建模块，用于根据所述量化区间构建所述目标量化参数的浮点值与定点值的映射关系；其中，所述目标量化参数中小于所述量化区间左端点的浮点值映射为量化后的最小定点值，所述目标量化参数中大于所述量化区间右端点的浮点值映射为量化后的最大定点值；

量化模块，用于基于所述映射关系对所述目标量化参数进行量化操作。

第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：

一个或多个处理装置；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现如本公开实施例所述的文本特征提取模型的量化方法。

第四方面，本公开实施例还提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现如本公开实施例所述的文本特征提取模型的量化方法。