[发明专利]语言模型训练及其语言推理方法、装置及计算机存储介质

说明书

本申请提供一种语言模型训练及其语言推理方法、装置及计算机存储介质，包括根据各训练语料样本，确定各训练语料样本对应于各粒度级别的各功能任务标签标注；构建语言模型，并将各训练语料样本作为输入以供语言模型进行预测，输出各训练语料样本对应于各粒度级别的各功能任务预测标注；再根据各训练语料样本对应于各粒度级别的各功能任务标签标注与各功能任务预测标注，训练语言模型。据此，本申请可同时输出对应于不同粒度级别的推理结果，具有更高的推理效率。

技术领域

本申请实施例涉及语言识别技术领域，特别涉及一种语言模型训练及其语言推理方法、装置及计算机存储介质。

背景技术

基于深度学习的自然语言处理技术均离不开语言模型。目前流行的语言模型主要包括：自编码式语言模型，例如Bert、Roberta等，其只包含Transformer的编码器部分，训练方法可以归纳为遮掩住输入句子的一部分，预测其遮掩部分的真实值；自回归式语言模型，例如GPT等，其只包含Transformer的解码器部分，可归纳为通过前文去预测下一个字或其它下文。生成式语言模型，例如Bart等，则只包含Transformer的编码器和解码器部分，其训练方法为在编码器部分输入上文，而在生成器部分生成自己想要的下文。

上述这些语言模型的训练方法都旨在利用注意力机制，仅利用语料本身的上下文信息进行语言识别，但并无法很好地理解语料中的其它特征，例如，让语言模型能学到一些专有名词、词性、语法、语义角色、指代关系等特征。

此外，现有语言模型在训练过程中没有特意去关注训练任务的粒度级别。例如Bert的训练任务是基于词根(subword)和句子的，spanBERT是基于span的，亦即，不同任务的粒度级别在现有语言模型中并没有形成一个系统。

再者，对于不同的应用场景，目前常见的做法是在现有语言模型的基础上重新编写与应用场景相关的任务，并据以微调语言模型，从而得到适合于所述应用场景的语言模型，然而此方法增加了语言模型的编写工作，并影响了不同应用场景下的语言模型的收敛速度。

此外，倘若应用场景中涉及到解决多个问题，通常的做法是针对每个任务设计一个语言模型，以借由多个语言模型的组合形成一个pipeline，然而，此方式会牺牲语言模型的推理效率。

发明内容

鉴于上述问题，本申请提供一种语言模型训练及其语言推理方法、装置及计算机存储介质，可同时输出语料样本对应于不同粒度级别的各功能任务预测结果，具有更高的推理效率以及更准确的推理结果。

本申请第一方面提供一种语言模型训练方法，其包括：根据各训练语料样本，确定各所述训练语料样本对应于各粒度级别的各功能任务标签标注；构建语言模型，将各所述训练语料样本作为输入以供所述语言模型进行预测，输出各所述训练语料样本对应于各所述粒度级别的各功能任务预测标注；以及根据各所述训练语料样本对应于各所述粒度级别的各所述功能任务标签标注与各所述功能任务预测标注，训练所述语言模型。

本申请第二方面提供一种计算机存储介质，所述计算机存储介质中储存有用于执行上述第一方面所述的语言模型训练方法的各所述步骤的指令

本申请第三方面提供一种语言推理方法，其包括：利用上述第一方面所述的语言模型训练方法训练的所述语言模型针对目标语料样本进行推理，获得所述目标语料样本对应于各粒度级别的各功能任务推理标注；合并所述目标语料样本对应于各粒度级别的各功能任务推理标注，获得所述目标语料样本的推理结果。

本申请第四方面提供一种计算机存储介质，所述计算机存储介质中储存有用于执行上述第二方面所述的语言推理方法的各所述步骤的指令。