[发明专利]轻量化语义智能服务适配训练演化方法及系统

说明书

本申请实施例公开了轻量化语义智能服务适配训练演化方法及系统，所述方法包括：对Generator模型进行遮罩语言模型MLM任务训练；将训练文本数据输入生成器Generator模块以生成伪造字；使用伪造文本对恢复器Restorer模块进行还原替换标记RTR任务训练；将所述伪造文本作为输入、原文本和被伪造的位置作为预测标签，输入所述恢复器Restorer模块，以使得所述Restorer模块还原文本中被替换的字，并对伪造文本中的伪造字进行识别；基于Dynamic self‑adjustment动态自适配方法对所述Restorer模块的识别结果进行监控和调整。一方面增强了预训练模型的语义理解能力，另一方面减少了微调阶段模型的计算量和参数，使模型能够在边缘设备上进行微调和分布式动态适应训练。

技术领域

本申请实施例涉及人工智能技术领域，具体涉及轻量化语义服务模型训练演化方法、系统、设备及可读存储介质。

背景技术

目前计算机科学领域的语义服务主要依靠传统的LSTM(长短期记忆网络)和基于Transformer结构的预训练模型提供。LSTM在循环神经网络结构加入多种激活函数以提高模型性能，基于Transformer结构的预训练模型使用self-attention机制构建的编码器和解码器大量堆叠以实现模型的语义理解能力。随着Transformer语言模型结构的诞生，计算机科学领域中常用的语义服务都基于Transformer结构的模型提供。该类模型的预训练通常采用Masked Language Model(MLM)方法进行训练，并将预训练好的模型应用于特定任务，通过二次fine-tuning(微调)满足特定任务的需求。

相比于传统的RNN模型，Transformer可以解决梯度消失、并行计算困难的问题，通过Transformer中的Multi-Head-Attention机制可以有效的观测文本中各个最小单元文本之间的关联，而不仅仅假设当前文本段落和之前的n个文本段落相关。Transformer结构的语言模型的训练和应用需要满足以下几个需求：

(1)基于强大的计算资源才能正常训练，一般采用GPU或TPU进行训练。

(2)模型需要使用通用语料和MLM任务进行预训练，使其具备一定的语义理解功能。

(3)模型只能理解单独种类的语言，例如使用英文训练的模型无法使其具备中文的语义理解能力。

但两种设计方案均有缺陷，前者准确率不佳，难以实现并行计算，后者需要强大的算力进行预训练和针对下游任务微调。两种方法均无法实际应用于计算能力有限的边缘计算环境。

发明内容

为此，本申请实施例提供轻量化语义智能服务适配训练演化方法及系统，通过Replace Token Restore(RTR)预训练任务，使用动态自适配方法进行模型重构，一方面增强了预训练模型的语义理解能力，另一方面减少了微调阶段模型的计算量和参数，使模型能够在边缘设备上进行微调和分布式动态适应训练。

为了实现上述目的，本申请实施例提供如下技术方案：

根据本申请实施例的第一方面，提供了一种轻量化语义服务模型训练演化方法，所述方法包括：

将通用语料输入生成器Generator模型，以对所述Generator模型进行遮罩语言模型MLM任务训练；

将训练文本数据输入生成器Generator模块，所述Generator模块用于随机将每篇文本数据中的每个字替换为对应位置上的伪造字；

获取所述Generator模块生成的三元组数据，所述三元组数据包括原文本、伪造文本和被伪造的位置；其中被伪造的位置为被替换掉的字在原文本中的位置，使用one-hot编码表示，被替换的位置设置为1，未被替换的位置设置为0；

使用伪造文本对恢复器Restorer模块进行还原替换标记RTR任务训练；