[发明专利]一种基于bootstrapping的文本相似度计算方法有效
申请号: | 201810400574.6 | 申请日: | 2018-04-28 |
公开(公告)号: | CN110413956B | 公开(公告)日: | 2023-08-01 |
发明(设计)人: | 王清琛;杜振东 | 申请(专利权)人: | 南京云问网络技术有限公司 |
主分类号: | G06F40/194 | 分类号: | G06F40/194;G06F40/284 |
代理公司: | 常州佰业腾飞专利代理事务所(普通合伙) 32231 | 代理人: | 刘娟娟 |
地址: | 211106 江苏省南京市*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 bootstrapping 文本 相似 计算方法 | ||
1.一种基于bootstrapping的文本相似度计算方法,其特征在于,它包括以下步骤:
步骤一,计算词的逆向文档频率作为词权重的初始值;
步骤二,依据逆向文档频率选择初始核心词表;
步骤三,计算文本中词的共现矩阵;
步骤四,根据bootstrapping算法,计算候选词和初始核心词的相关度作为更新权重的系数;
步骤五,根据词向量V、词权重W和词性权值F来计算句向量;
其中,所述步骤四中相关度的计算公式如下:
其中,T(Si,Rj)是指初始核心词Si和候选词Rj的相关度,Si是指初始核心词表S中第i个词,Rj是指候选词表R中第j个词,F(Si,Rj)是指初始核心词Si和候选词Rj的共现频次,F(Rj)是指包含候选词Rj在文档出现的频次;
其中,所述步骤四中更新权重的系数的计算公式如下:
其中,K(Rj)是指候选词Rj权重的更新系数,是指最大的相关度,|S|是指核心词表S中词的个数;
所述步骤四中每迭代一次,更新一次更新系数,词权重的更新计算公式如下:
其中,W(Ci)是指词Ci的权重,j是指第j次迭代,n是指总共迭代的次数,Kj(Ci)是指第j次迭代中词Ci权重的更新系数。
2.根据权利要求1所述的基于bootstrapping的文本相似度计算方法,其特征在于,所述步骤一中词权重是用代表文本中的词以一个数值来表示,生成文本的实数值向量。
3.根据权利要求1所述的基于bootstrapping的文本相似度计算方法,其特征在于,所述步骤五中句向量的计算公式如下:
其中,Dij是指文本Di中的第j个词,|Di|是指文本Di中的词个数,α参数从0到1反复迭代查找最优值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京云问网络技术有限公司,未经南京云问网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810400574.6/1.html,转载请声明来源钻瓜专利网。