[发明专利]文本处理模型的训练方法、文本处理方法及相关设备

权利要求书

1.一种文本处理模型的训练方法，其特征在于，包括：

获取用于训练文本处理模型的第一样本文本和所述第一样本文本对应的任务标签，所述任务标签用于表示所述第一样本文本在目标文本处理任务下对应的目标处理结果；

在第一样本文本包含的第一目标词语所在位置前后分别增加实体标签，所述第一目标词语为表示实体的词语；

对所述第一目标词语进行掩码处理，得到所述第一样本文本对应的掩码文本；

通过目标语言模型对所述第一样本文本对应的掩码文本进行词语预测，得到所述第一目标词语对应的预测词语；

基于所述第一目标词语对应的预测词语，对所述第一样本文本进行数据增强处理，得到所述第一样本文本对应的增强文本；

基于所述第一样本文本、所述增强文本以及所述第一样本文本对应的任务标签，训练所述文本处理模型。

2.根据权利要求1所述的方法，其特征在于，所述在第一样本文本包含的第一目标词语所在位置前后分别增加实体标签，包括：

基于所述第一目标词语的字符顺序，在所述第一目标词语中每个字符所在位置前后分别增加该字符对应的实体标签。

3.根据权利要求1所述的方法，其特征在于，所述基于所述第一目标词语对应的预测词语，对所述第一样本文本进行数据增强处理，得到所述第一样本文本对应的增强文本，包括：

将所述第一样本文本中的所述第一目标词语替换为所述第一目标词语对应的预测词语，得到所述第一样本文本对应的增强文本。

4.根据权利要求1所述的方法，其特征在于，在所述在第一样本文本包含的第一目标词语所在位置前后分别增加实体标签之前，所述方法还包括：

将所述第一样本文本输入训练好的实体识别模型，得到实体识别结果，其中，所述实体识别结果包括所述第一样本文本中被识别为表示实体的候选词语和所述候选词语表示的实体类型；

基于所述候选词语在所述第一样本文本中的上下文信息，对所述实体识别结果进行正确性校验；

若所述实体识别结果通过正确性校验，则将所述候选词语确定为所述第一目标词语，以及将所述候选词语表示的实体类型对应的实体标签，确定为所述第一目标词语对应的实体标签。

5.根据权利要求4所述的方法，其特征在于，在基于所述候选词语在所述第一样本文本中的上下文信息，对所述实体识别结果进行正确性校验之后，所述方法还包括：

若所述候选词语通过正确性校验、所述候选词语表示的实体类型未通过正确性校验，则将所述候选词语确定为所述第一目标词语，以及基于所述候选词语和所述上下文信息，对所述候选词语表示的实体类型进行修正，并将修正后的实体类型对应的实体标签确定为所述第一目标词语对应的实体标签；

若所述候选词语未通过正确性校验、所述候选词语表示的实体类型通过正确性校验，则基于所述候选实体表示的实体类型和所述上下文信息，对所述候选词语进行修正，得到所述第一目标词语，以及将所述候选词语表示的实体类型对应的实体标签，确定为所述第一目标词语对应的实体标签。

6.根据权利要求1所述的方法，其特征在于，在通过目标语言模型对所述掩码文本中所述第一目标词语进行词语预测之前，所述方法还包括：

获取样本集，所述样本集包括多个第二样本文本；

在第二样本文本i包含的第二目标词语所在位置前后分别增加实体标签，所述第二样本文本i为所述多个第二样本文本中的任一个第二样本文本，所述第二目标词语为表示实体的词语；

对所述第二目标词语进行掩码处理，得到所述第二样本文本i对应的掩码文本；

通过待训练的语言模型，对所述第二样本文本i对应的掩码文本进行词语预测，得到所述第二目标词语对应的预测词语；

基于所述样本集中每个第二样本文本包含的第二目标词语以及所述第二目标词语对应的预测词语，调整所述待训练的语言模型的模型参数，以得到所述目标语言模型。