[发明专利]语言模型训练及其语言推理方法、装置及计算机存储介质

权利要求书

1.一种语言模型训练方法，其特征在于，包括：

根据各训练语料样本，确定各所述训练语料样本对应于各粒度级别的各功能任务标签标注；

构建语言模型，将各所述训练语料样本作为输入以供所述语言模型进行预测，输出各所述训练语料样本对应于各所述粒度级别的各功能任务预测标注；以及

根据各所述训练语料样本对应于各所述粒度级别的各所述功能任务标签标注与各所述功能任务预测标注，训练所述语言模型。

2.根据权利要求1所述的语言模型训练方法，其特征在于，所述方法还包括：

根据所述语言模型支持的文本长度针对各所述训练语料样本执行切分处理，获得各所述训练语料样本各自对应的至少一个文本片段，以供所述语言模型针对各所述文本片段执行预测，获得各所述文本片段对应于各所述粒度级别的各功能任务预测标注。

3.根据权利要求2所述的语言模型训练方法，其特征在于，所述方法还包括：

基于预设预处理规则针对各所述训练语料样本执行预处理；

其中，所述预设预处理规则包括：语料去噪、归一化中的至少一个。

4.根据权利要求1所述的语言模型训练方法，其特征在于，所述语言模型包括预测器和判别器；其中，

所述将各所述训练语料样本作为输入以供所述语言模型进行预测，输出各所述训练语料样本对应于各所述粒度级别的各功能任务预测标注具体包括：

将各所述训练语料样本作为输入，将各所述训练语料样本对应于各所述粒度级别的各功能任务预测标注作为输出，训练所述预测器；

借由所述判别器根据各所述训练语料样本对应于各所述粒度级别的各所述功能任务标签标注与各所述功能任务预测标注，获得各所述功能任务预测标注的预测损失；

基于所述预测损失重复所述训练所述预测器的步骤，直至所述预测器训练完成。

5.根据权利要求4所述的语言模型训练方法，其特征在于，所述方法还包括：

针对所述训练语料样本中执行退化处理，获得所述训练语料样本的退化部分，并提供所述预测器针对所述训练语料样本中的所述退化部分执行预测；其中，

所述退化处理包括针对所述训练语料样本执行遮掩处理、替换处理、顺序颠倒处理、顺序打乱处理中的至少一个。

6.根据权利要求4所述的语言模型训练方法，其特征在于，其中，所述将各所述训练语料样本作为输入以供所述语言模型进行预测，输出各所述训练语料样本对应于各所述粒度级别的各功能任务预测标注包括：

针对每一个所述训练语料样本，根据各所述粒度级别针对所述训练语料样本执行编码处理，获得所述训练语料样本对应于各所述粒度级别的各语法单位编码；

根据各所述语法单位编码对应的各所述粒度级别，确定各所述粒度级别各自对应的至少一个功能任务，并基于确定的各所述功能任务，针对各所述粒度级别的各所述语法单位编码分别执行预测，获得所述训练语料样本对应于各所述粒度级别的各所述功能任务预测标注。

7.根据权利要求6所述的语言模型训练方法，其特征在于，所述粒度级别包括句子级别、词根级别、字级别、词级别、span级别中的至少一个。

8.根据权利要求7所述的语言模型训练方法，其特征在于，所述功能任务包括专有名词类任务、词性类任务、语法类任务、语义类任务、指代消解类任务中的至少一个。

9.根据权利要求4所述的语言模型训练方法，其特征在于，所述预测损失至少包括交叉熵损失或者最大似然估计损失中的一个。

10.根据权利要求9所述的语言模型训练方法，其特征在于，所述基于所述预测损失重复所述训练所述预测器的步骤，直至所述预测器训练完成包括：

若所述预测损失不满足预设收敛条件，则基于所述预测损失重复所述训练所述预测器的步骤；若所述预测损失满足所述预设收敛条件，则所述预测器训练完成。