[发明专利]一种基于自动提示推荐的语言处理方法、装置及终端

说明书

本发明公开了一种基于自动提示推荐的语言处理方法、装置及终端，方法包括：获取待处理文本，根据所述待处理文本获取所述待处理文本对应的目标提示文本，其中，所述目标提示文本中包括样本待处理文本和样本待处理文本对应的结果；将所述待处理文本和所述目标提示文本进行组合，输入至预训练语言模型，获取所述预训练语言模型输出的目标结果作为所述待处理文本对应的结果。本发明可以提升预训练语言模型处理下游任务时的精度。

技术领域

本发明涉及自然语言处理技术领域，特别涉及一种基于自动提示推荐的语言处理方法、装置及终端。

背景技术

在自然语言处理领域，基于大规模数据训练的超大规模预训练语言模型如GPT-3、PenGuin-α，具有强大的零样本学习和小样本学习能力。但是，由于这些模型是基于大规模数据训练得到的，虽然可以适用于多种下游任务，但是对于特定领域或类型的处理任务，需要进行微调后才能取得更高的准确性，而受限于这类模型百亿级甚至千亿级的巨大参数量，普通单机硬件资源无法支撑如此巨大参数规模模型的训练和推理，传统的预训练加微调的应用模式很难应用于这类模型，导致这种预训练语言模型在处理下游任务时的精度不高。

因此，现有技术还有待改进和提高。

发明内容

针对现有技术的上述缺陷，本发明提供一种基于自动提示推荐的语言处理方法、装置及终端，旨在解决现有技术中预训练语言模型在处理下游任务时精度不高的问题。

为了解决上述技术问题，本发明所采用的技术方案如下：

本发明的第一方面，提供一种基于自动提示推荐的语言处理方法，所述方法包括：

获取待处理文本，根据所述待处理文本获取所述待处理文本对应的目标提示文本，其中，所述目标提示文本中包括样本待处理文本和样本待处理文本对应的结果；

将所述待处理文本和所述目标提示文本进行组合，输入至预训练语言模型，获取所述预训练语言模型输出的目标结果作为所述待处理文本对应的结果。

所述的基于自动提示推荐的语言处理方法，其中，所述根据所述待处理文本获取所述待处理文本对应的目标提示文本，包括：

根据所述待处理文本在多个预设语言处理任务类型中确定目标语言处理任务类型；

根据所述目标语言处理任务类型在多个提示文本库中确定目标提示文本库，其中，每个所述提示文本库中包括多个提示文本；

在所述目标提示文本库中选取提示文本作为所述目标提示文本。

所述的基于自动提示推荐的语言处理方法，其中，所述根据所述待处理文本获取所述待处理文本对应的目标提示文本之前，包括：

获取多个样本待处理文本和每个所述样本待处理文本对应的结果，将每个样本待处理文本和对应的结果组合，得到一个所述提示文本；

对每个所述样本待处理文本进行分类，确定每个所述样本待处理文本对应的所述预设语言处理任务类型；

根据每个所述样本待处理文本对应的所述预设语言处理任务类型将每个所述提示文本归入对应的所述提示文本库。

所述的基于自动提示推荐的语言处理方法，其中，所述对每个所述样本待处理文本进行分类，确定每个所述样本待处理文本对应的所述预设语言处理任务类型，包括：

根据每个所述样本待处理文本对中包括的问句对每个所述样本待处理文本进行粗分类；

对粗分类后属于同一类的所述样本待处理文本进行聚类处理，根据聚类后每一类中的所述样本待处理文本的数据共性确定各个所述预设语言处理任务类型。

所述的基于自动提示推荐的语言处理方法，其中，所述根据所述待处理文本在多个预设语言处理任务类型中确定目标语言处理任务类型，包括：