[发明专利]问句扩展方法及装置、存储介质、终端在审
申请号: | 201711338455.4 | 申请日: | 2017-12-14 |
公开(公告)号: | CN108090169A | 公开(公告)日: | 2018-05-29 |
发明(设计)人: | 陈培华;朱频频 | 申请(专利权)人: | 上海智臻智能网络科技股份有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 张振军;吴敏 |
地址: | 201803 上海市嘉*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 词语 存储介质 词组合 终端 判断结果 相邻词语 自动生成 分词 过滤 替换 保证 | ||
一种问句扩展方法及装置、存储介质、终端,问句扩展方法包括:获取待扩展问句,并对所述待扩展问句进行分词,以得到多个原始词语;对所述多个原始词语进行相关词替换,以得到原始词语与相关词组合或者相关词与相关词组合的多个扩展问句;对每一扩展问句中包括所述相关词的相邻词语之间的组合有效性进行判断;根据判断结果对所述多个扩展问句进行过滤。通过本发明技术方案可以自动生成扩展问句并保证扩展问句的有效性。
技术领域
本发明涉及自然语言处理技术领域,尤其涉及一种问句扩展方法及装置、存储介质、终端。
背景技术
现有技术中,用于问答的知识库通常包括多个知识点,每一知识点包括标准问、标准问对应的扩展问句以及答案。为了实现问答的准确性,需要在知识库中对标准问句进行扩展,形成尽可能多的扩展问句。知识库中的扩展问句通常需要人工写。或者使用语义模板、语义表达式生成扩展问句。
但是,现有技术中上述生成扩展问句的方式所形成的扩展问句的数量有限;此外,形成的扩展问句中存在无效扩展问,占用系统资源,还导致用户问题无法与标准问句和扩展问句匹配,影响问答的准确性。
发明内容
本发明解决的技术问题是如何自动生成扩展问句并保证扩展问句的有效性。
为解决上述技术问题,本发明实施例提供一种问句扩展方法,问句扩展方法包括:获取待扩展问句,并对所述待扩展问句进行分词,以得到多个原始词语;对所述多个原始词语进行相关词替换,以得到原始词语与相关词组合或者相关词与相关词组合的多个扩展问句;对每一扩展问句中包括所述相关词的相邻词语之间的组合有效性进行判断;根据判断结果对所述多个扩展问句进行过滤。
可选的,所述对所述多个原始词语进行相关词替换包括:利用所述多个原始词语对应的词类对所述多个原始词语进行相关词替换;或者,利用同义词词典对所述多个原始词语进行同义词替换。
可选的,所述对每一扩展问句中包括所述相关词的相邻词语之间的组合有效性进行判断包括:确定每一扩展问句中包括所述相关词的相邻词语之间的组合概率;利用所述组合概率计算扩展问句的有效分数;将所述扩展问句的有效分数与设定阈值比较,以得到所述判断结果。
可选的,所述根据判断结果对所述多个扩展问句进行过滤包括:如果所述判断结果表示所述扩展问句的有效分数达到所述设定阈值,则保留所述扩展问句,以作为所述待扩展问句的扩展问句。
可选的,所述利用所述组合概率计算扩展问句的有效分数包括:计算所述组合概率之和,以作为所述扩展问句的有效分数。
可选的,所述确定每一扩展问句中包括所述相关词的相邻词语之间的组合概率包括:利用汉语语言模型或神经网络语言模型确定每一扩展问句中包括所述相关词的相邻词语之间的组合概率。
可选的,所述获取待扩展的问句之前还包括:利用预设原始语料对所述汉语语言模型或所述神经网络语言模型进行训练。
可选的,所述待扩展问句为知识点中的标准问或有效扩展问。
可选的,所述获取待扩展的问句之前还包括:利用预设原始语料对词向量模型进行训练;利用训练完成的词向量模型获取多组新增相关词,并更新同义词词典,以用于进行相关词替换。
可选的,所述利用训练完成的词向量模型获取多组相关词包括:利用所述训练完成的词向量模型获取述预设原始语料中所有词语的词向量;根据词向量之间的距离确定所述多组新增相关词。
可选的,所述利用训练完成的词向量模型获取多组相关词包括:利用所述训练完成的词向量模型获取每组同义词中所有词语的词向量,以及所述预设原始语料中所有词语的词向量;根据词向量之间的距离确定每组同义词中所有词语的相关词;将每组同义词中所有词语的相关词取交集,以确定所述多组新增相关词。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海智臻智能网络科技股份有限公司,未经上海智臻智能网络科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711338455.4/2.html,转载请声明来源钻瓜专利网。