[发明专利]文本处理模型的训练方法、文本处理方法及相关设备

说明书

本申请公开了一种文本处理模型的训练方法、文本处理方法及相关设备，所述训练方法包括：获取第一样本文本及其对应的任务标签，任务标签用于表示第一样本文本在目标文本处理任务下对应的目标处理结果；在第一样本文本包含的第一目标词语所在位置前后分别增加实体标签，第一目标词语为表示实体的词语；对第一目标词语进行掩码处理，得到样本文本对应的掩码文本；通过目标语言模型对样本文本对应的掩码文本进行词语预测，得到第一目标词语对应的预测词语；基于第一目标词语对应的预测词语，对第一样本文本进行数据增强处理，得到第一样本文本对应的增强文本；基于第一样本文本及其对应的增强文本及任务标签，训练文本处理模型。

技术领域

本申请涉及自然语言处理技术领域，尤其涉及一种文本处理模型的训练方法、文本处理方法及相关设备。

背景技术

数据增强是一种提升模型泛化能力和数据有效性的有效策略。在自然语言处理(Natural Language Processing，NLP)领域，数据增强的目的是在不改变语义的前提下扩充文本数据。

目前在NLP场景下，通常对样本文本中表示实体的词语替换为同义词或者表示相同类型实体的词语，得到对应的增强文本，然后利用样本文本及其对应的增强文本训练相应的文本处理模型。但是，这种方式得到的增强文本较为片面，甚至与样本文本的语义相去甚远，并不能很好地提升文本处理模型的训练效果，进而影响文本处理模型的准确性和泛化能力。

发明内容

本申请实施例的目的提供一种文本处理模型的训练方法、文本处理方法及相关设备，用于解决目前在文本处理模型的训练过程中获得的增强文本片面而导致训练出的文本处理模型的准确性和泛化能力不佳的问题。

为了实现上述目的，本申请实施例采用下述技术方案：

第一方面，本申请实施例提供一种文本处理模型的训练方法，包括：

获取用于训练文本处理模型的第一样本文本和所述第一样本文本对应的任务标签，所述任务标签用于表示所述第一样本文本在目标文本处理任务下对应的目标处理结果；

在第一样本文本包含的第一目标词语所在位置前后分别增加实体标签，所述第一目标词语为表示实体的词语；

对所述第一目标词语进行掩码处理，得到所述第一样本文本对应的掩码文本；

通过目标语言模型对所述第一样本文本对应的掩码文本进行词语预测，得到所述第一目标词语对应的预测词语；

基于所述第一目标词语对应的预测词语，对所述第一样本文本进行数据增强处理，得到所述第一样本文本对应的增强文本；

基于所述第一样本文本、所述增强文本以及所述第一样本文本对应的任务标签，训练所述文本处理模型。

本申请实施例提供的文本处理模型的训练方法，利用目标语言模型的语义理解和词语预测能力，通过对用于训练文本处理模型的第一样本文本中表示实体的第一目标词语进行掩码处理，由目标语言模型基于掩码处理后所的掩码文本(也即目标词语的上下文)对第一目标词语进行语义理解后，对该掩码文本进行词语预测，也即预测第一目标词语所在位置处可能的词语，所得的预测词语更丰富，且能够较好地切合第一目标词语在其所属的第一样本文本中的语义；进一步，基于第一目标词语所在位置对应的预测词语，对第一样本文本进行数据增强处理，得到的增强文本更全面、且能够更好地切合第一样本文本的语义，在第一样本文本的基础上结合这类增强文本训练文本处理模型，有利于提升文本处理模型的训练效果，从而提高文本处理模型的准确性和泛化能力；在此基础上，通过在第一样本文本中第一目标词语所在位置前后分别增加实体标签，可以确保第一目标词语与实体标签相匹配，使得第一目标语言模型能够更加容易学习和掌握第一目标词语的边界信息，有利于目标语言模型更加准确地理解掩码文本的语义而能够更准确地对第一目标词语所在位置进行词语预测，得到的预测词语能够更好地切合第一目标词语在第一样本文本中的语义，从而有利于提高增强文本的全面性及其与第一样本文本的语义的切合度。