[发明专利]文本相似度的确定方法、装置和计算机可读存储介质有效
| 申请号: | 201811297685.5 | 申请日: | 2018-11-02 | 
| 公开(公告)号: | CN111144104B | 公开(公告)日: | 2023-06-20 | 
| 发明(设计)人: | 路绪海;马怡安;黄挺 | 申请(专利权)人: | 中国电信股份有限公司 | 
| 主分类号: | G06F40/284 | 分类号: | G06F40/284;G06F16/33 | 
| 代理公司: | 中国贸促会专利商标事务所有限公司 11038 | 代理人: | 张雷 | 
| 地址: | 100033 *** | 国省代码: | 北京;11 | 
| 权利要求书: | 查看更多 | 说明书: | 查看更多 | 
| 摘要: | |||
| 搜索关键词: | 文本 相似 确定 方法 装置 计算机 可读 存储 介质 | ||
1.一种文本相似度的确定方法,包括:
利用词向量计算第一文本中各词语与第二文本的相关程度作为第一相似度,所述第一文本的词语数量小于所述第二文本的词语数量;
根据所述第一文本的词语数量,在所述第二文本中选取相应数量的词语作为目标词语;
利用词向量计算各目标词语与所述第一文本的相关程度作为第二相似度;
根据所述第一相似度、所述第二相似度和所述第二文本的长度,计算所述第一文本和所述第二文本的综合相似度;
其中,所述根据所述第一文本的词语数量,在所述第二文本中选取相应数量的词语作为目标词语包括:
将所述第一文本的词语数量与所述第二文本的词语数量的差值作为目标数量;
在所述第二文本中选取所述目标数量的词语作为所述目标词语。
2.根据权利要求1所述的确定方法,其中,所述利用词向量计算第一文本中各词语与第二文本的相关程度作为第一相似度包括:
计算所述第一文本中词语的词向量与所述第二文本中各词语的词向量之间的向量距离;
将所有所述向量距离中最小的一个作为该词语的相关系数;
根据所述第一文本中所有词语的相关系数的加权和,确定所述第一相似度。
3.根据权利要求1所述的确定方法,其中,所述在所述第二文本中选取所述目标数量的词语作为所述目标词语包括:
在所述第二文本中选取最后N个词语作为所述目标词语,N为所述目标数量。
4.根据权利要求1所述的确定方法,其中,所述利用词向量计算各目标词语与所述第一文本的相关程度作为第二相似度包括:
计算所述第二文本中目标词语的词向量与所述第一文本中各词语的词向量之间的向量距离;
将所有所述向量距离中最小的一个作为该目标词语的相关系数;
根据所述第二文本中所有目标词语的相关系数的加权和,确定所述第二相似度。
5.根据权利要求1-4任一项所述的确定方法,其中,
所述综合相似度与所述第一相似度和所述第二相似度的加权和正相关,与所述第二文本的长度负相关。
6.一种文本相似度的确定装置,包括:
计算单元,用于利用词向量计算第一文本中各词语与第二文本的相关程度作为第一相似度,所述第一文本的词语数量小于所述第二文本的词语数量,利用词向量计算各目标词语与所述第一文本的相关程度作为第二相似度,根据所述第一相似度、所述第二相似度和所述第二文本的长度,计算所述第一文本和所述第二文本的综合相似度;
选取单元,用于根据所述第一文本的词语数量,在所述第二文本中选取相应数量的词语作为所述目标词语,所述选取单元将所述第一文本的词语数量与所述第二文本的词语数量的差值作为目标数量,在所述第二文本中选取所述目标数量的词语作为所述目标词语。
7.根据权利要求6所述的确定装置,其中,
所述计算单元计算所述第一文本中词语的词向量与所述第二文本中各词语的词向量之间的向量距离,将所有所述向量距离中最小的一个作为该词语的相关系数,根据所述第一文本中所有词语的相关系数的加权和,确定所述第一相似度。
8.根据权利要求6所述的确定装置,其中,
所述选取单元在所述第二文本中选取最后N个词语作为所述目标词语,N为所述目标数量。
9.根据权利要求6所述的确定装置,其中,
所述计算单元计算所述第二文本中目标词语的词向量与所述第一文本中各词语的词向量之间的向量距离,将所有所述向量距离中最小的一个作为该目标词语的相关系数,根据所述第二文本中所有目标词语的相关系数的加权和,确定所述第二相似度。
10.根据权利要求6-9任一项所述的确定装置,其中,
所述综合相似度与所述第一相似度和所述第二相似度的加权和正相关,与所述第二文本的长度负相关。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国电信股份有限公司,未经中国电信股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811297685.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种全自动尿液有形成分分析仪的流动池机构调整装置
- 下一篇:冷壳省电电冰箱





