[发明专利]一种词扩展方法、装置、设备及介质有效
申请号: | 201811231345.2 | 申请日: | 2018-10-22 |
公开(公告)号: | CN110162770B | 公开(公告)日: | 2023-07-21 |
发明(设计)人: | 韩家龙;宋彦;史树明 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F40/284 | 分类号: | G06F40/284;G06F40/216;G06F40/30 |
代理公司: | 深圳市深佳知识产权代理事务所(普通合伙) 44285 | 代理人: | 王仲凯 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 扩展 方法 装置 设备 介质 | ||
本申请实施例公开了一种词扩展方法、装置、设备以及介质,其中,该方法包括:获取待扩展的种子词以及该种子词的上下文;根据该种子词以及该种子词的上下文,通过词扩展模型获取输出向量,该输出向量用于表征候选词库中各个候选词与种子词之间的语义相似度;根据输出向量确定种子词的扩展词。该方法中采用的词扩展模型是利用机器学习算法训练得到的神经网络,该模型在预测过程中既考虑了种子词自身的语义,又考虑了种子词的上下文语义,保证确定出的种子词的扩展词能够符合种子词的上下文语境,从而为各个自然语言处理应用提供能够满足业务需求的信息,提高自然语言处理应用的应用性能。
技术领域
本申请涉及计算机技术领域,尤其涉及一种词扩展方法、装置、设备以及计算机可读存储介质。
背景技术
目前搜索引擎、计算机辅助写作、自动对话系统等诸多自然语言处理应用中,通常需要对自然语言中的指定词进行同类词扩展,以便基于扩展出的同类词做进一步的操作,提高应用性能。所谓同类词扩展是指,针对一句话中的指定词扩展出与该指定词隐含语义相同或相近的其他词,例如,对于“大麦草富含氨基酸等营养”这句话,针对“氨基酸”这个词可以扩展出与“氨基酸”隐含语义相同或相近的同类词,如“维生素”、“叶绿素”等。
现有的同类词扩展技术是集合扩展技术,该集合扩展技术主要是针对一句话中的指定词扩展出属于该指定词的隐含语义类中的词,作为同类词;该集合扩展技术主要是根据一定挖掘规则从大量的语料中挖掘出属于同一语义的同类词,例如将出现在一个句子中的同一行,以分号分隔的多个词挖掘为同类词。但该集合扩展技术并不考虑指定词的上下文语境,导致其扩展出的同类词并不能满足目前的应用需求。举个例子,针对“大麦草富含氨基酸等营养”这句话,利用该集合扩展技术针对“氨基酸”这个词,可能会扩展出“脂肪”这种属于营养类但是并不符合该指定词上下文(大麦草并不含脂肪)的词等。
可见,在自然语言处理应用环境中,亟需研究出能够实现基于上下文语境的同类词扩展的方案,以提高各种应用的性能,促进自然语言处理应用技术的发展。
发明内容
本申请实施例提供了一种词扩展方法、相关设备以及系统,能够为各个自然语言处理应用提供满足业务需求的信息,提高自然语言处理应用的应用性能。
有鉴于此,本申请第一方面提供了一种词扩展方法,所述方法包括:
获取待扩展的种子词以及获取所述种子词的上下文;
根据所述种子词以及所述种子词的上下文,通过词扩展模型获取输出向量,所述输出向量用于表征候选词库中各候选词与所述种子词的语义相似度;所述词扩展模型是神经网络模型,其用于根据种子词对应的词向量以及上下文向量,预测所述候选词库中各候选词与种子词之间的语义相似度;
根据所述输出向量确定所述种子词的扩展词。
本申请第二方面提供了一种训练词扩展模型的方法,所述方法包括:
获取训练样本集,所述训练样本集中每个样本包括:种子词、种子词的上下文以及种子词对应的真实扩展词;
构建初始神经网络模型,根据所述训练样本集训练所述初始神经网络模型的参数以得到满足训练结束条件的神经网络模型,作为词扩展模型。
本申请第三方面提供了一种词扩展装置,所述装置包括:
第一获取模块,用于获取待扩展的种子词以及获取所述种子词的上下文;
第二获取模块,用于根据所述种子词以及所述种子词的上下文,通过词扩展模型获取输出向量,所述输出向量用于表征候选词库中各候选词与所述种子词的语义相似度;所述词扩展模型是神经网络模型,其用于根据种子词对应的词向量以及上下文向量,预测所述候选词库中各候选词与种子词之间的语义相似度;
确定模块,用于根据所述输出向量确定所述种子词的扩展词。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811231345.2/2.html,转载请声明来源钻瓜专利网。