[发明专利]句子相似度计算方法和装置有效
申请号: | 201710813321.7 | 申请日: | 2017-09-11 |
公开(公告)号: | CN109492213B | 公开(公告)日: | 2023-04-07 |
发明(设计)人: | 宋双永 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F40/211 | 分类号: | G06F40/211;G06F40/284;G06F40/289 |
代理公司: | 北京太合九思知识产权代理有限公司 11610 | 代理人: | 刘戈 |
地址: | 英属开曼群岛大开*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 句子 相似 计算方法 装置 | ||
1.一种句子相似度计算方法,其特征在于,包括:
分别获取第一词向量列表和第二词向量列表,所述第一词向量列表中包括第一句子中m个分词的词向量,所述第二词向量列表中包括第二句子中n个分词的词向量,m、n为大于1的自然数;
将所述第一词向量列表中的每个分词的词向量和所述第二词向量列表中的每个分词的词向量进行相似度计算,得到m乘以n个词向量对的相似度值;
对m乘以n个词向量对的相似度值进行加权平均得到的相似度值为所述第一句子和第二句子的相似度;
其中,所述对m乘以n个词向量对的相似度值进行加权平均得到的相似度值为所述第一句子和第二句子的相似度,包括:对所述m乘以n个词向量对的相似度值根据相似度值从大到小进行排序;对排序后的m乘以n个词向量对的相似度值进行加权平均;
所述方法还包括:
针对每个词向量对,对其进行加权平均过程中时使用的权重为该词向量对的两个分词中剩余权重的偏小值,所述剩余权重是指每个分词的初始权重减去加权平均计算过程中已经用掉的权重。
2.根据权利要求1所述的方法,其特征在于,分别获取第一词向量列表和第二词向量列表,包括:
分别对所述第一句子和第二句子进行分词处理,得到第一分词列表和第二分词列表,所述第一分词列表中包括m个分词,所述第二分词列表中包括n个分词;
分别将所述第一分词列表和所述第二分词列表中的每个分词与预设的词向量模型进行匹配得到所述第一词向量列表和所述第二词向量列表。
3.根据权利要求2所述的方法,其特征在于,所述词向量模型是利用word2vec算法,对预先建立的语料库进行训练,得到所述语料库中所有词语的向量构成的词向量模型。
4.根据权利要求1所述的方法,其特征在于,将所述第一词向量列表中的每个分词的词向量和所述第二词向量列表中的每个分词的词向量进行相似度计算,包括:
根据词向量之间的余弦相似度计算方法,对所述第一句子中任一个分词wi的词向量vwi和所述第二句子中任一个分词wj的词向量vwj进行相似度计算,得到所述第一句子中分词wi和所述第二句子中分词wj之间的相似度值。
5.一种句子相似度计算装置,其特征在于,包括:
获取模块,用于分别获取第一词向量列表和第二词向量列表,所述第一词向量列表中包括第一句子中m个分词的词向量,所述第二词向量列表中包括第二句子中n个分词的词向量,m、n为大于1的自然数;
第一计算模块,用于将所述第一词向量列表中的每个分词的词向量和所述第二词向量列表中的每个分词的词向量进行相似度计算,得到m乘以n个词向量对的相似度值;
第二计算模块,用于对m乘以n个词向量对的相似度值进行加权平均得到的相似度值为所述第一句子和第二句子的相似度;
其中,所述第二计算模块,具体用于对所述m乘以n个词向量对的相似度值根据相似度值从大到小进行排序;对排序后的m乘以n个词向量对的相似度值进行加权平均;
所述装置还包括:第三计算模块,用于针对每个词向量对,其在对其进行加权平均过程中时使用的权重为该词向量对的两个分词中剩余权重的偏小值,所述剩余权重是指每个分词的初始权重减去加权平均计算过程中已经用掉的权重。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710813321.7/1.html,转载请声明来源钻瓜专利网。