[发明专利]问答样本的扩展方法及装置有效
申请号: | 201910662208.2 | 申请日: | 2019-07-22 |
公开(公告)号: | CN110413753B | 公开(公告)日: | 2020-09-22 |
发明(设计)人: | 姚开盛;张家兴;刘佳;李小龙 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F16/332 | 分类号: | G06F16/332;G06F16/33;G06F16/35 |
代理公司: | 北京亿腾知识产权代理事务所(普通合伙) 11309 | 代理人: | 陈霁;周良玉 |
地址: | 英属开曼群岛大开*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 问答 样本 扩展 方法 装置 | ||
本说明书实施例提供一种问答样本的扩展方法和装置,根据该方法,一方面,通过对各个已有的样本生成随机数,对随机数属于样本扩展随机数的样本进行问题的模糊化,生成扩展样本,有效控制整体的样本模糊化扩展率;另一方面,对于需要进行模糊化扩展的样本,通过删除相应问题中的预定词性的词汇的方式进行问题扩展,再基于扩展问题生成扩展样本,可以兼容更多的问题表达方式。如此,通过增加扩展样本的样本集训练问答模型,可以更有效地为用户提供答案。
技术领域
本说明书一个或多个实施例涉及计算机技术领域,尤其涉及通过计算机进行问答样本的扩展方法和装置。
背景技术
随着人工智能的发展,智能问答系统的应用越来越普遍。例如,在智能客服领域,当用户提出问题时,通过智能问答系统,可以自动对用户问题进行语义分析,为用户提供答案。常规技术中,往往基于分类模型对用户问题进行分类。然而,由于用户个人认知水平及表达方式各不相同,使得分类模型的训练难度增加,在分类模型使用过程中,句法句式和表达习惯的不同,影响着为用户问题提供的答案的准确度。
发明内容
本说明书一个或多个实施例描述了一种方法和装置,可以在智能问答模型训练过程中,对样本中的问题进行一些模糊化处理,从而提高问答系统对问题各种提问方式的兼容性,进而提升问答模型的有效性。
根据第一方面,提供了一种问答样本的扩展方法,所述问答样本包括第一样本,所述第一样本包括第一问题和预先标注的第一答案,包括:对所述第一问题进行语法分析,以确定所述第一问题中各词汇的词性;针对所述第一样本生成预定范围内的随机数,检测所生成的随机数是否属于选定的样本扩展随机数,其中,所述样本扩展随机数范围是从所述预定数值范围内选定的数值,用于从问答样本中筛选出相应样本以进行扩展;在所生成的随机数属于样本扩展随机数的情况下,删除所述第一问题中的预定词性的词汇,以生成至少一个扩展问题;基于所述至少一个扩展问题和所述第一答案,生成扩展样本。
在一个实施例中,样本扩展随机数的数量与所述预定数值范围内的数值的数量具有预定比例。
在一个实施例中,所述删除所述第一问题中的预定词性的词汇包括:从所述第一问题中删除预定词性的词汇中的任一个词汇。
在一个实施例中,所述词汇词性包括以下至少一种:名词、动词、动词组、疑问词。
在一个实施例中,所述预定词性包括名词、疑问词中的一项。
在一个实施例中,所述基于所述至少一个扩展问题和所述第一答案,生成扩展样本包括:将各个扩展问题分别与所述第一答案组合,生成各个扩展样本。
在一个实施例中,对所述第一问题扩展得到的各个扩展问题包括第一扩展问题,所述基于所述至少一个扩展问题和所述第一答案,生成扩展样本包括:检测对各个问答样本的其他扩展问题中是否存在与所述第一扩展问题相同的扩展问题;在存在与所述第一扩展问题相同的扩展问题的情况下,按照预定模板为所述第一扩展问题标注第一扩展答案,生成第一扩展样本。
根据第二方面,提供一种问答样本的扩展装置,所述问答样本包括第一样本,所述第一样本包括第一问题和预先标注的第一答案,所述装置包括:
分析单元,配置为对所述第一问题进行语法分析,以确定所述第一问题中各词汇对应的词性;
检测单元,配置为针对所述第一样本生成预定范围内的随机数,检测所生成的随机数是否属于选定的样本扩展随机数,其中,所述扩展随机数范围包含于所述预定数值范围,用于从问答样本中筛选出相应样本以进行扩展;
扩展单元,配置为在所生成的随机数属于样本扩展随机数的情况下,删除所述第一问题中的预定词性的词汇,以生成至少一个扩展问题;
生成单元,配置为基于所述至少一个扩展问题和所述第一答案,生成各个扩展样本。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910662208.2/2.html,转载请声明来源钻瓜专利网。