[发明专利]基于融合策略的中文词语相似度计算方法在审
申请号: | 201910236195.2 | 申请日: | 2019-03-27 |
公开(公告)号: | CN109960786A | 公开(公告)日: | 2019-07-02 |
发明(设计)人: | 吕学强;董志安;游新冬 | 申请(专利权)人: | 北京信息科技大学 |
主分类号: | G06F17/22 | 分类号: | G06F17/22 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 100192 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 融合策略 同义词词林 相似度计算 中文词语 词语相似度 维基百科 语料 词语 同义词 计算相似度 综合考虑 系数和 相似度 中文 应用 | ||
1.一种基于融合策略的中文词语相似度计算方法,其特征在于,基于HowNet、同义词词林、Word2Vec训练的中文维基百科语料以及百度词典四者相结合来计算词语相似度。
2.根据权利要求1所述的中文词语相似度计算方法,其特征在于,对于输入的两个词语,首先判断其在HowNet或者同义词词林中是否存在,如果存在,则利用HowNet或者同义词词林来计算相似度,否则,判断其是否在维基百科语料或者百度词典中存在,如果存在,则利用word2vec或者百度词典来计算词语的相似度。
3.根据权利要求1-2所述的中文词语相似度计算方法,其特征在于,利用基于知网的词汇语义相似度作为计算方法,其公式如下:
其中,Sim(W1,W2)表示词W1和W2基于HowNet的相似度;S11,S12,...,S1n表示词W1的义项(概念);S21,S22,...,S2m表示词W2的义项(概念);
在知网中,词语的表达式利用义原和特殊符号组成的知识描述式,义原是由一个树状的层次体系构成,其相似度的计算方法公式如下:
其中p1,p2代表义原;distance(p1,p2)表示义原p1和p2在义原层次树中的距离;α是一个可调节的参数,其含义是相似度为0.5时的义原距离值;
知网中词语的义项描述有四项,可分为第一义原描述、其他基本义原描述、关系义原描述以及关系符号描述。其中其他义原描述式是由义原组成的集合结构;关系义原描述和关系符号描述都是特征结构。
特征结构为key-value键值对的集合,其中key是关系义原或者关系符号,value是基本义原或者具体词;对于特征结构相似度的计算,首先要建立key相同的特征之间的一一对应关系,如果key没有相对应的特征,则该key的对应为空,然后再计算相应的key之间的value的相似度;
对于集合相似度的计算:首先计算两个集合中所有元素两两之间的相似度,从中选取相似度最大的一个,并将这两个元素对应起来,然后从集合删除这些对应的元素,重复以上步骤,直到没有元素对应关系为止,对于没有建立对应关系的元素,则让其与空元素对应;最后,对于集合相似度计算元素对的相似度的加权平均值;
计算词语的整体相似度,公式如下:
C1,C2表示实词概念或者义原,sim1(C1,C2)到sim4(C1,C2)分别表示四种义项描述的相似度,β1到β4表示每种义项相似度对应的权重。
4.根据权利要求1-3所述的中文词语相似度计算方法,其特征在于,基于同义词词林的词语相似度计算,包括:对于给定的两个词语,首先在词林中查找其对应的编号,然后判断这两个编号在哪一层不同;从第一层开始判断,相同则乘1,否则乘以相应的分支系数,然后乘以调节参数其中n是分支层的节点总数,然后再乘以控制参数(n-k+1)/n,其中k是两个分支间的距离。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京信息科技大学,未经北京信息科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910236195.2/1.html,转载请声明来源钻瓜专利网。
- 上一篇:文件在线签署方法、装置、存储介质及设备
- 下一篇:版式模板的生成方法及装置