[发明专利]一种预训练语言模型的训练、诉求转接方法、装置和设备

权利要求书

1.一种预训练语言模型的训练方法，其特征在于，所述方法包括：

获取多组训练样本，所述训练样本中包括两条语义相近的诉求信息，以及两条诉求信息对应的类别标签和类别匹配标签，所述类别匹配标签用于表征两条诉求信息是否属于同一类别；

通过预设的预训练语言模型计算当前训练样本中的两条诉求信息各自的文本向量；

基于所述文本向量对所述诉求信息的类别和类别匹配情况进行预测，得到预测类别和预测类别匹配结果；

根据第一误差以及第二误差校正所述预设的预训练语言模型的模型参数，所述第一误差是所述预测类别和所述类别标签之间的误差，所述第二误差是所述预测类别匹配结果和所述类别匹配标签之间的误差；

当所述预训练语言模型满足预设的条件时，输出所述预训练语言模型。

2.根据权利要求1所述的方法，其特征在于，所述获取多组训练样本，包括：

遍历历史诉求信息库中的各条诉求信息，基于BM25算法将所述历史诉求信息库中相似度在预设阈值以上的诉求信息两两组合；

获取每组诉求信息对应的类别标签和类别匹配标签，进而得到多组所述训练样本。

3.根据权利要求1所述的方法，其特征在于，所述基于所述文本向量对所述诉求信息的类别和类别匹配情况进行预测，得到预测类别和预测类别匹配结果，包括：

将两个文本向量分别输入第一全连接层，计算两个文本向量各自的预测类别，所述第一全连接层的参数通过所述第一误差进行校正；

将两个文本向量同时输入第二全连接层，计算两个文本向量的预测类别匹配结果，所述第二全连接层的参数通过所述第二误差进行校正。

4.一种诉求转接方法，其特征在于，所述方法包括：

接收目标用户的目标诉求信息，通过权利要求1-3任意一项所述方法训练好的预训练语言模型将所述目标诉求信息转换为目标文本向量；

以第一相似度算法从历史诉求信息库中提取与所述目标诉求信息语义相近的候选诉求信息；

通过所述预训练语言模型计算各个候选诉求信息对应的候选文本向量；

以第二相似度算法计算所述目标文本向量和各个候选文本向量的相似度，并找出与所述目标文本向量相似度最高的候选文本向量；

将所述目标诉求信息转接到所述相似度最高的候选文本向量对应的处理部门。

5.根据权利要求4所述的方法，其特征在于，所述第一相似度算法为BM25算法，所述以第一相似度算法从历史诉求信息库中提取与所述目标诉求信息语义相近的候选诉求信息，包括：

遍历历史诉求信息库中的每条诉求信息，使用BM25算法将所述历史诉求信息库中与所述目标诉求信息相似度在预设阈值以上的候选诉求信息。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

通过权利要求1-3任意一项所述方法训练好的预训练语言模型计算所述历史诉求信息库中各个诉求信息的文本向量；

将计算得到的文本向量与对应的诉求信息建立关联关系，并存入所述历史诉求信息库中。

7.根据权利要求4所述的方法，其特征在于，所述第二相似度算法是第二全连接层。

8.一种诉求转接装置，其特征在于，所述装置包括：

诉求接收模块，用于接收目标用户的目标诉求信息，通过权利要求1-3任意一项所述方法训练好的预训练语言模型将所述目标诉求信息转换为目标文本向量；

候选诉求模块，用于以第一相似度算法从历史诉求信息库中提取与所述目标诉求信息语义相近的候选诉求信息；

向量转换模块，用于通过所述预训练语言模型计算各个候选诉求信息对应的候选文本向量；

诉求匹配模块，用于以第二相似度算法计算所述目标文本向量和各个候选文本向量的相似度，并找出与所述目标文本向量相似度最高的候选文本向量；

转接模块，用于将所述目标诉求信息转接到所述相似度最高的候选文本向量对应的处理部门。