[发明专利]语料的意图标注方法、装置、设备及存储介质有效
申请号: | 202010879170.7 | 申请日: | 2020-08-27 |
公开(公告)号: | CN112015897B | 公开(公告)日: | 2023-04-07 |
发明(设计)人: | 邹芳;李沛恒;李俊蓉 | 申请(专利权)人: | 中国平安人寿保险股份有限公司 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06F40/205;G06F40/30 |
代理公司: | 北京市京大律师事务所 11321 | 代理人: | 姚维 |
地址: | 518033 广东省深圳市福田区益田路5033号*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 语料 意图 标注 方法 装置 设备 存储 介质 | ||
1.一种语料的意图标注方法,其特征在于,所述语料的意图标注方法包括:
获取线下语料和线上语料,将所述线下语料和所述线上语料合并,得到语料集合,其中,所述线下语料为线下对话产生且线下标注了意图标签的语料,所述线上语料为线上对话产生且线上标注了意图标签的语料;
将所述语料集合中的语料进行归类,根据归类结果将所述语料集合划分为多个语料子集合,其中,每个语料子集合中包含的语料属于同一语料类型;
将所述多个语料子集合中的任一语料子集合确定为目标语料子集合,获取所述目标语料子集合中的语料所对应的意图标签,得到意图标签集合;
对所述意图标签集合中的意图标签进行归类,并统计归类后的意图标签类型数量,判断所述意图标签类型数量是否大于预设的数量阈值;
若所述意图标签类型数量大于预设的数量阈值,则将所述目标语料子集合中的语料确定为待更正意图标签的语料,将所述待更正意图标签的语料发送至预置的更正端,以使所述更正端对所述待更正意图标签的语料进行意图标签的更正;
若所述意图标签类型数量小于预设的数量阈值,则将所述目标语料子集合中的语料确定为待展示语料;
获取所述待展示语料的标注率和意图正确率,根据所述待展示语料、所述标注率和所述意图正确率生成可视化图表,其中,所述标注率用于指示所述待展示语料中已进行意图标注的语料数量与语料总数量的比值,所述意图正确率用于指示所述待展示语料中正确意图标签数量与意图标签总数量的比值;
对所述待展示语料进行迭代意图更正,直至所述标注率和所述意图正确率均大于预设的目标阈值,所述对所述待展示语料进行迭代意图更正包括:对待展示语料进行分类,得到未进行意图标注的第一分类语料以及意图正确率值小于预设的目标阈值的第二分类语料;对第一分类语料和第二分类语料分别进行意图识别和意图更正,得到第一意图标签和第二意图标签;将第一分类语料和第二分类语料发送至标注客户端进行意图标注和更正,得到第三意图标签,该第三意图标签包括一个或一个以上的意图标签;计算第一意图标签、第二意图标签和第三意图标签之间的意图相似度,若该意图相似度均大于预设阈值,则获取标注率和意图正确率值,若标注率和意图正确率值均大于预设的目标阈值,则停止对待展示语料进行迭代意图更正。
2.根据权利要求1所述的语料的意图标注方法,其特征在于,所述将所述语料集合中的语料进行归类,包括:
通过预置的文本主题模型,获取所述语料集合中的每个语料对应的语义特征,通过预置的卷积神经网络模型,获取所述语料集合中的每个语料对应的情感特征;
对所述语义特征和所述情感特征分别进行向量转换处理,得到语义特征向量和情感特征向量;
对于所述语料集合中的任意两个语料,计算与所述任意两个语料对应的两个语义特征向量之间的第一相似度,以及与所述任意两个语料对应的两个情感特征向量之间的第二相似度;
计算所述第一相似度和所述第二相似度的加权均值,得到综合相似度;
判断所述综合相似度是否大于或等于预设的第一相似度阈值;
若所述综合相似度大于或等于预设的第一相似度阈值,则将所述任意两个语料归为同一语料类型。
3.根据权利要求1所述的语料的意图标注方法,其特征在于,所述对所述意图标签集合中的意图标签进行归类,包括:
获取所述意图标签集合中的每个意图标签对应的文本特征,对所述文本特征进行向量转换处理,得到文本特征向量;
计算每两个文本特征向量之间的相似度;
根据每两个文本特征向量之间的相似度,对所述意图标签集合中的意图标签进行归类。
4.根据权利要求3所述的语料的意图标注方法,其特征在于,所述根据每两个文本特征向量之间的相似度,对所述意图标签集合中的意图标签进行归类,包括:
判断是否存在两个文本特征向量之间的相似度大于或等于预设的第二相似度阈值;
若存在两个文本特征向量之间的相似度大于或等于预设的第二相似度阈值,则将与所述两个文本特征向量对应的意图标签归为同一意图标签类型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国平安人寿保险股份有限公司,未经中国平安人寿保险股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010879170.7/1.html,转载请声明来源钻瓜专利网。
- 上一篇:微动开关
- 下一篇:一种装配式建筑用外墙板装配结构以及装配方法