[发明专利]一种基于量化的长文本问答推理方法、设备及介质

说明书

本申请公开了一种基于量化的长文本问答推理方法、设备及介质。方法包括：获取训练数据，根据训练数据训练得到Longformer模型；确定Longformer模型的模型结构，并根据模型结构确定Longformer模型的量化粒度，根据量化粒度对Longformer模型进行量化；确定Longformer模型的量化裁减范围，并对量化裁减范围进行优化，从而将Longformer模型量化至INT8数据类型，得到整型模型；将整型模型部署到服务器上，以通过整型模型对长文本问答任务进行推理。本申请基于Longformer提出的滑动窗口注意力机制对Longformer模型进行针对性的量化，提高了模型在长文本问答任务上的推理效率，具有较强的实用性。

技术领域

本申请涉及计算机技术领域，尤其涉及一种基于量化的长文本问答推理方法、设备及介质。

背景技术

近年来，神经网络模型被广泛应用在许多领域，并取得了非常好的效果。其中，Transformer模型自提出后，席卷自然语言处理领域，并扩展到计算机视觉领域，均取得巨大成功。另外，各种Transformer变体层出不穷，Longformer是Transformer的一个变体，用于解决Transformer处理文本长度有限的问题，Longformer采用滑动窗口注意力机制，适合处理长文本数据问题，包括长文本问答任务。但是，神经网络模型由于模型复杂度高、模型大，导致推理时效率较低，推理时间较长。因此，如何设计低资源消耗的，可以实时预测的、同时保证预测精度的模型成为一个现实问题。

发明内容

本申请提出了一种基于量化的长文本问答推理方法，包括：获取训练数据，根据所述训练数据训练得到Longformer模型；确定所述Longformer模型的模型结构，并根据所述模型结构确定所述Longformer模型的量化粒度，根据所述量化粒度对所述Longformer模型进行量化；确定所述Longformer模型的量化裁减范围，并对所述量化裁减范围进行优化，从而将所述Longformer模型量化至INT8数据类型，得到整型模型；将所述整型模型部署到服务器上，以通过所述整型模型对长文本问答任务进行推理。

在一个示例中，确定所述Longformer模型的模型结构，并根据所述模型结构确定所述Longformer模型的量化粒度，具体包括：确定所述Longformer模型的注意力机制，将所述注意力机制的窗口作为第一量化粒度；确定所述Longformer模型的嵌入层、前馈层，将所述嵌入层和所述前馈层的张量作为第二量化粒度。

在一个示例中，根据所述量化粒度对所述Longformer模型进行量化，具体包括：O＝X₁X₂+B，其中，O为所述注意力机制、所述嵌入层和所述前馈层的线性层，X₁和X₂为模型输入的量化矩阵，B为预先设定的计算偏置。

在一个示例中，确定所述Longformer模型的量化裁减范围，从而将所述Longformer模型量化至INT8数据类型，具体包括：设定Q_α(α∈{1,2})表示为X_α量化版本；Q₂＝||X₂*127clipping_range(X2)＝X2*s2；QB＝Bs1s2；其中，s_α为X_α的量化因子，clipping_range(X_α)为X_α的裁减范围，Q_B为中间计算量。

在一个示例中，对所述量化裁减范围进行优化，具体包括：确定所述量化裁剪范围的分位数和均方误差，根据所述分位数和所述均方误差对所述量化裁剪范围进行优化。

在一个示例中，根据所述分位数和所述均方误差对所述量化裁剪范围进行优化，具体包括：r＝percentile(X,p)；其中，X为量化矩阵，p为矩阵X百分位，r为裁剪范围上限，x为矩阵X的元素，clip(x)为矩阵X中元素x裁剪后的值，mse(X)为矩阵X和量化后的X的均方误差，其中，量化后的X为