[发明专利]训练实体类型识别模型的方法、实体类型识别方法及装置

权利要求书

1.一种训练实体类型识别模型的方法，其特征在于，所述方法包括：

获取包括多个训练样本的训练数据，所述训练样本包括文本样本以及所述文本样本中实体词被标注的实体类型标签；

利用所述训练数据训练实体类型识别模型，所述实体类型识别模型包括预测网络和基于预训练语言模型的编码网络；所述训练包括：

利用文本样本中的实体词生成提示文本，所述提示文本包含所述文本样本中的实体词以及被掩码内容；利用文本样本以及提示文本得到输入文本序列，将所述文本输入序列输入所述编码网络，由所述编码网络提取所述输入文本序列中各元素的特征表示；所述预测网络利用所述各元素的特征表示，预测所述提示文本中被掩码的内容在词表中各词语上的概率分布，依据所述概率分布得到所述文本样本中的实体词对应的实体类型，所述词表包括各实体类型对应的标签词；所述训练目标包括：最小化所述编码网络得到的所述文本样本中的实体词对应的实体类型与所述文本样本中的实体词被标注的实体类型标签之间的差异。

2.根据权利要求1所述的方法，其特征在于，所述利用文本样本中的实体词生成提示文本包括：

将所述文本样本中的实体词填入预设的提示模板中的对应槽位，得到提示文本，所述提示模板包含实体词对应的槽位以及被掩码的内容标识。

3.根据权利要求2所述的方法，其特征在于，所述预设的提示模板还包括体现所述实体词对应的槽位以及被掩码的内容标识之间语义关系的上下文；或者，

所述预设的提示模板还包括所述实体词对应的槽位以及被掩码的内容标识的参数化的上下文，所述参数化的上下文在所述实体类型识别模型的训练过程中被更新。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述词表还包括各实体类型对应的标签词的同义词；

依据所述概率分布得到所述文本样本中的实体词对应的实体类型包括：

针对各实体类型，分别确定所述提示文本中被掩码的内容在所述词表中各实体类型对应各词语上的概率统计值，将对应概率统计值最大的实体类型确定为所述文本样本中的实体词对应的实体类型。

5.一种实体类型识别的方法，其特征在于，所述方法包括：

获取待识别文本；

利用所述待识别文本中的实体词生成提示文本，所述提示文本包含所述待识别文本中的实体词以及被掩码内容；

利用所述待识别文本和所述提示文本得到输入文本序列，将所述输入文本序列输入实体类型识别模型，获取所述实体类型识别模型针对所述待识别文本中实体词预测的实体类型，所述实体类型识别模型包括预测网络和基于预训练语言模型的编码网络；

其中，所述编码网络提取所述输入文本序列中各元素的特征表示；所述预测网络利用所述各元素的特征表示，预测所述提示文本中被掩码的内容在词表中各词语上的概率分布，依据所述概率分布得到所述待识别文本中的实体词对应的实体类型，所述词表包括各实体类型对应的标签词。

6.根据权利要求5所述的方法，其特征在于，利用所述待识别文本中的实体词生成提示文本包括：

将所述待识别文本中的实体词填入预设的提示模板中的对应槽位，得到提示文本，所述预设模板包含实体词对应的槽位以及被掩码的内容标识。

7.根据权利要求5所述的方法，其特征在于，所述词表还包括各实体类型对应的标签词的同义词；

依据所述概率分布得到所述待识别文本中的实体词对应的实体类型包括：

针对各实体类型，分别确定所述提示文本中被掩码的内容在所述词表中各实体类型对应词语上的概率统计值，将对应概率统计值最大的实体类型确定为所述待识别文本中的实体词对应的实体类型。

8.根据权利要求5至7中任一项所述的方法，其特征在于，将预设文本集中的各文本分别作为所述待识别文本，利用所述待识别文本中的实体词及其对应的实体类型构建知识图谱；或者，

将用户在智能客服系统输入的文本作为所述待识别文本，利用所述待识别文本中的实体词及其对应的实体类型，在该实体类型对应的知识库中匹配实体词对应的属性信息或服务项目，用以返回给所述用户。