[发明专利]近义词挖掘方法、装置及电子设备有效
申请号: | 201810023323.0 | 申请日: | 2018-01-10 |
公开(公告)号: | CN108255810B | 公开(公告)日: | 2019-04-09 |
发明(设计)人: | 蒋宏飞;李健铨;晋耀红;杨凯程 | 申请(专利权)人: | 北京神州泰岳软件股份有限公司 |
主分类号: | G06F17/27 | 分类号: | G06F17/27 |
代理公司: | 北京弘权知识产权代理事务所(普通合伙) 11363 | 代理人: | 逯长明;许伟群 |
地址: | 100089 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 近义词 语义相似度 文本 预设 装置及电子设备 挖掘 文档相似度 词向量 算法 计算机应用技术 准确率 | ||
1.一种近义词挖掘方法,其特征在于,包括:
获取待处理文本;
获取所述文本的预设近义词;
通过基于词向量的文档相似度算法,获取所述文本与各候选近义词之间的第一语义相似度;以及,通过所述文档相似度算法,获取所述预设近义词与所述候选近义词之间的第二语义相似度,所述候选近义词从预设词表中获取;
根据所述第一语义相似度和所述第二语义相似度,确定所述文本的近义词。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一语义相似度和所述第二语义相似度,并确定所述文本的近义词,包括:
根据第一选取规则和各候选近义词的所述第一语义相似度排名,对候选近义词进行选取,形成第一候选近义词集;以及,根据第二选取规则和各候选近义词的所述第二语义相似度排名,对候选近义词进行选取,形成第二候选近义词集;
获取所述第一候选近义词集和所述第二候选近义词集共同包括的候选近义词;
根据所述共同包括的候选近义词,确定所述近义词。
3.根据权利要求2所述的方法,其特征在于,所述根据所述共同包括的候选近义词,并确定所述近义词,包括:
获取所述待处理文本及预设近义词的反义词,根据获取到的反义词判断所述共同包括的各候选近义词是否符合构词规则,
将符合所述构词规则的候选近义词作为所述近义词。
4.根据权利要求3所述的方法,其特征在于,在所述获取所述待处理文本及预设近义词的反义词之前,所述方法还包括:
获取所述待处理文本的词性;
判断所述词性是否为动词或形容词;若是,则进入下一步。
5.根据权利要求1所述的方法,其特征在于,所述根据所述第一语义相似度和所述第二语义相似度,并确定所述文本的近义词,包括:
根据所述第一语义相似度和所述第二语义相似度、及预设权重,获取所述文本与所述候选近义词之间的第三语义相似度;
根据第三选取规则和所述第三语义相似度对候选近义词进行选取;
根据选取的候选近义词,确定所述近义词。
6.根据权利要求5所述的方法,其特征在于,所述第三语义相似度采用如下公式计算:
Z=α*X+(1-α)*Y
其中,X是所述第一语义相似度、Y是所述第二语义相似度,α是所述预设权重,α在0-1之间,Z是所述第三语义相似度。
7.一种近义词挖掘装置,其特征在于,包括:
文本获取单元,用于获取待处理文本;
预设近义词获取单元,用于获取所述文本的预设近义词;
语义相似度获取单元,用于通过基于词向量的文档相似度算法,获取所述文本与各候选近义词之间的第一语义相似度;以及,通过所述文档相似度算法,获取所述预设近义词与所述候选近义词之间的第二语义相似度,所述候选近义词从预设词表中获取;
近义词确定单元,用于根据所述第一语义相似度和所述第二语义相似度,确定所述文本的近义词。
8.根据权利要求7所述的装置,其特征在于,所述近义词确定单元包括:
候选近义词集获取子单元,用于根据第一选取规则和各候选近义词的所述第一语义相似度排名,对候选近义词进行选取,形成第一候选近义词集;以及,根据第二选取规则和各候选近义词的所述第二语义相似度排名,对候选近义词进行选取,形成第二候选近义词集;
候选近义词获取子单元,用于获取所述第一候选近义词集和所述第二候选近义词集共同包括的候选近义词;
第一近义词确定子单元,用于根据所述共同包括的候选近义词,确定所述近义词。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京神州泰岳软件股份有限公司,未经北京神州泰岳软件股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810023323.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种云服务系统
- 下一篇:一种物联网中时延自适应的业务数据传输方法