[发明专利]文本分类模型的训练方法、文本分类方法及设备

权利要求书

1.一种文本分类模型的训练方法，其特征在于，所述方法包括：

获取第一训练样本集，所述第一训练样本集中包含第一训练文本；

基于所述第一训练文本中文字对应的第一字向量、第一拼音向量、第一位置向量以及第一句向量，预训练BERT模型，其中，拼音向量为文字对应拼音的向量化表示；

获取第二训练样本集，所述第二训练样本集中包含第二训练文本，且所述第二训练文本包含对应的分类标签；

基于所述第二训练文本中文字对应的第二字向量、第二拼音向量、第二位置向量以及第二句向量，以所述分类标签为分类目标微调所述BERT模型，得到所述文本分类模型，所述文本分类模型用于对输入文本进行标签分类。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一训练文本中文字对应的第一字向量、第一拼音向量、第一位置向量以及第一句向量，预训练BERT模型，包括：

以文字为单位对所述第一训练文本进行划分，得到所述第一训练文本对应的第一文字序列，并生成所述第一文字序列对应的第一拼音序列；

对所述第一文字序列和所述第一拼音序列中的至少一种序列进行掩码处理，其中，经过掩码处理后，序列中的部分文字或拼音被替换为掩码；

基于掩码处理后的所述第一文字序列生成所述第一字向量、所述第一位置向量和所述第一句向量，并基于掩码处理后的所述第一拼音序列生成所述第一拼音向量；

以掩码语言模型MLM任务为训练任务，预训练所述BERT模型，其中，预训练得到的所述BERT模型用于预测掩码对应的文字或拼音。

3.根据权利要求2所述的方法，其特征在于，所述对所述第一文字序列和所述第一拼音序列中的至少一种序列进行掩码处理，包括：

对所述第一文字序列和所述第一拼音序列进行掩码处理，其中，经过掩码处理后，所述第一文字序列和所述第一拼音序列中相同位置的文字和拼音被替换为掩码；

所述以掩码语言模型MLM任务为训练任务，预训练所述BERT模型，包括：

将所述第一字向量、所述第一拼音向量、所述第一位置向量和所述第一句向量输入所述BERT模型，得到所述BERT模型输出的预测文字和预测拼音；

根据所述预测文字、所述预测拼音、原始文字和原始拼音，训练所述BERT模型，所述原始文字为被掩码替换的文字，所述原始拼音为被掩码替换的拼音。

4.根据权利要求3所述的方法，其特征在于，所述根据所述预测文字、所述预测拼音、原始文字和原始拼音，训练所述BERT模型，包括：

根据所述预测文字和所述原始文字对应的字向量确定第一预测损失；

根据所述预测拼音和所述原始拼音对应的拼音向量确定第二预测损失；

根据所述第一预测损失和所述第二预测损失训练所述BERT模型。

5.根据权利要求4所述的方法，其特征在于，所述根据所述预测文字、所述预测拼音、原始文字和原始拼音，训练所述BERT模型，还包括：

响应于所述预测拼音与所述预测文字不匹配，根据所述预测拼音的拼音向量以及所述预测文字对应拼音的拼音向量，确定第三预测损失；

根据所述第一预测损失、所述第二预测损失以及所述第三预测损失训练所述BERT模型。

6.根据权利要求1至5任一所述的方法，其特征在于，所述获取第一训练样本集之后，所述方法还包括：

过滤所述第一训练样本集中包含非中文文字的训练文本，得到所述第一训练文本；

将所述第一训练文本中的文字转换为拼音；

基于不同拼音在所述第一训练文本中的共现情况，训练拼音向量转化模型，所述拼音向量转化模型用于将拼音转化为拼音向量。