[发明专利]一种基于bootstrapping的文本相似度计算方法

说明书

本发明公开一种基于bootstrapping的文本相似度计算方法，它包括：计算词的逆向文档频率作为词权重的初始值；依据逆向文档频率选择初始核心词表；计算文本中词的共现矩阵；根据bootstrapping算法，计算候选词和初始核心词的相关度作为更新权重的系数；根据词向量V、词权重W和词性权值F来计算句向量。采用本发明的技术方案，可以显著提高短文本的相似度计算。

技术领域

本发明涉及一种词权重的计算方法，尤其是一种基于bootstrapping的文本相似度计算方法。

背景技术

在当今的信息互联网时代，大量的文本信息需要经过加工处理才能有效利用。因此，自然语言处理领域不断发展起来。在自然语言处理中将文本分词并用词权重来表示，生成向量空间模型是常见处理方式。目前在词权重的计算方法上已经提出了很多有效的方法，其中使用tfidf作为词权重是最常使用的方法之一。

bootstarpping算法是在统计学的基础上，利用有限的样本进行重复采样的过程。每迭代一次就会产生新的样本，来抽取与初始样本相似的新样本。

词向量是指通过对语料中的分词进行统计，将每个词映射到一个多维的富含上文信息的向量空间中。词向量的维度可以根据具体的任务来设置，便于将文本信息转化为可计算的数值信息，对自然语言处理有着重要的作用。

发明内容

为解决传统的idf仅是从词频上判别分词的权重，而忽视了词汇之间关联的不足，本发明提供一种基于bootstrapping的文本相似度计算方法，用来优化idf词权重以提高文本相似度。

为实现上述目的，本发明采用下述技术方案：

一种基于bootstrapping的文本相似度计算方法，它包括以下步骤：

步骤一，计算词的逆向文档频率作为词权重的初始值；

步骤二，依据逆向文档频率选择初始核心词表；

步骤三，计算文本中词的共现矩阵；

步骤四，根据bootstrapping算法，计算候选词和初始核心词的相关度作为更新权重的系数；

步骤五，根据词向量V、词权重W和词性权值F来计算句向量。

进一步地，步骤一中词权重是用代表文本中的词以一个数值来表示，生成文本的实数值向量。词在文本中越能代表主题，权重越低。

进一步地，步骤四中相关度的计算公式如下：

其中，S_i是指初始核心词表S中第i个词，R_j是指候选词表R中第j个词，F(S_i,R_j)是指初始核心词S_i和候选词R_j的共现频次，F(R_j)是指包含候选词R_j在文档出现的频次。

进一步地，步骤四中更新权重的系数的计算公式如下：

其中，max_iT(S_i,R_j)是指最大的相关度，|S|是指核心词表S中词的个数。

进一步地，步骤四中每迭代一次，更新一次系数，其更新计算公式如下：

其中，j是指第j次迭代，n是指总共迭代的次数，K_j(C_i)是指第j次迭代中词C_i的更新系数。

进一步地，步骤五中句向量的计算公式如下：