[发明专利]一种对话文本标注方法、装置、电子设备及存储介质在审
| 申请号: | 202110260937.2 | 申请日: | 2021-03-10 |
| 公开(公告)号: | CN112989040A | 公开(公告)日: | 2021-06-18 |
| 发明(设计)人: | 张翼飞;张雪飞;孙喜锋 | 申请(专利权)人: | 河南中原消费金融股份有限公司 |
| 主分类号: | G06F16/35 | 分类号: | G06F16/35;G06K9/62 |
| 代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 纪志超 |
| 地址: | 450000 河南省*** | 国省代码: | 河南;41 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 对话 文本 标注 方法 装置 电子设备 存储 介质 | ||
1.一种对话文本标注方法,其特征在于,包括:
获取对话文本及预设类型包含的关键句文本,并将所述对话文本及所述关键句文本进行向量转换,得到对话文本向量及关键句文本向量;
利用所述预设类型的数量对所述对话文本向量及所述关键句文本向量进行聚类计算,得到向量聚类结果;
利用所述向量聚类结果确定所述对话文本向量与所述关键句文本向量的匹配关系;
利用所述关键句文本向量对应的预设类型,对与所述关键句文本向量建立所述匹配关系的对话文本向量对应的对话文本进行标注。
2.根据权利要求1所述的对话文本标注方法,其特征在于,在利用所述预设类型的数量对所述对话文本向量及所述关键句文本向量进行聚类计算之前,还包括:
计算所述对话文本向量与所有所述关键句文本向量之间的余弦相似度;
当所有所述余弦相似度均小于第一预设阈值时,则将所述余弦相似度对应的对话文本向量进行移除;
利用剩余的对话文本向量,执行所述利用所述预设类型的数量对所述对话文本向量及所述关键句文本向量进行聚类计算的步骤。
3.根据权利要求1所述的对话文本标注方法,其特征在于,所述利用所述预设类型的数量对所述对话文本向量及所述关键句文本向量进行聚类计算,得到向量聚类结果,包括:
设置K均值聚类模型的聚类数量为所述预设类型的数量,并将所述K均值聚类模型使用的距离设置为余弦距离;
将所述对话文本向量及所述关键句文本向量输入所述K均值聚类模型,得到所述向量聚类结果。
4.根据权利要求3所述的对话文本标注方法,其特征在于,在得到所述向量聚类结果之后,还包括:
根据所述向量聚类结果,将聚为同一类的对话文本向量及关键句文本向量设置为第一向量组;
查找所述第一向量组的质心,并计算所述质心与所述第一向量组包含向量的平均余弦距离;
若所述平均余弦距离大于第二预设阈值时,则利用所述第一向量组中包含的对话文本向量和关键句文本向量,执行所述将所述对话文本向量及所述关键句文本向量输入所述K均值聚类模型,得到所述向量聚类结果的步骤;
若所述平均余弦距离小于等于所述第二预设阈值时,则利用所述第一向量组中包含的对话文本向量和关键句文本向量,执行所述利用所述向量聚类结果确定所述对话文本向量与所述关键句文本向量的匹配关系的步骤。
5.根据权利要求1所述的对话文本标注方法,其特征在于,所述将所述对话文本及所述关键句文本进行向量转换,得到对话文本向量及关键句文本向量,包括:
利用BERT服务将所述对话文本及所述关键句文本分别转换为第二向量组和第三向量组;所述第二向量组包含对话文本句向量、对话文本词向量和对话文本词位置向量,所述第三向量组包含关键句文本句向量、关键句文本词向量和关键句文本词位置向量;
利用所述BERT服务分别所述第二向量组和第三向量组进行加权计算,得到所述对话文本向量及所述关键句文本向量。
6.根据权利要求1所述的对话文本标注方法,其特征在于,在对与所述关键句文本向量建立所述匹配关系的对话文本向量对应的对话文本进行标注之后,还包括:
利用标注后的对话文本对BERT预训练模型进行微调训练,得到意图提取模型;
利用所述意图提取模型对所述对话文本进行分类检测。
7.根据权利要求1至6任一项所述的对话文本标注方法,其特征在于,所述利用所述聚类结果确定所述对话文本向量与所述关键句文本向量的匹配关系,包括:
根据所述向量聚类结果,将聚为同一类的对话文本向量及关键句文本向量设置为第四向量组;
在所述第四向量组中,计算所述关键句文本向量与所有所述对话文本向量的平均余弦相似度;
判断所述平均余弦相似度是否大于第三预设阈值;
若是,则将所述关键句文本向量与所述第四向量组中的所有所述对话文本向量设置匹配关系。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于河南中原消费金融股份有限公司,未经河南中原消费金融股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110260937.2/1.html,转载请声明来源钻瓜专利网。





