[发明专利]一种基于BTM主题模型和Doc2vec的文本相似度计算方法

权利要求书

1.一种基于BTM主题模型和Doc2vec的文本相似度计算方法，其特征在于，包括以下步骤：

步骤1：模型定义与数据预处理；

首先对如表1所示的基础Doc2vec模型参数进行定义，再使用语料库对Doc2vec基础模型进行训练；

对于待检测的文本数据d{d₁,d₂,...,d_n}，使用分词工具，对待检测文本数据进行分词处理，处理后的数据项用于进行下一阶段的模型训练处理；

表1 Doc2vec基础模型参数

步骤2：模型训练；

使用处理后的数据项对经过语料库训练后的Doc2vec模型再次进行训练，得到数据的文本向量集合{v(d₁),v(d₂),...,v(d_n)}；

构建BTM主题模型，使用BTM主题模型对待检测文本数据进行文本主题信息的检测，得到文本主题数据集合{t₁,t₂,...,t_n}；

步骤3：相似度计算；

在文本向量集合的基础上，结合文本主题数据集合进行向量数据筛选，得到主题向量集合，随后将主题向量信息与文本向量信息结合，计算得到文本相似度，相似度计算的具体过程如下：

步骤3-1：对每个文本主题中的高频词进行权重标注，将高频词出现的概率设定为主题权重，并且与文本向量集合中对应该文本主题的文本向量进行结合，得到主题向量集合，计算公式如下所示：

其中，v(d_i)表示该文本主题的向量表示，表示主题权重，h为主题向量总数，m为主题向量序号；

步骤3-2：使用式(2)将文本向量与主题向量相结合，用两个向量之间的的距离来表征数据项的特征。

dis(v(d_i),v(t_i))＝|v(d_i)-v(t_i)| (2)

步骤3-3：针对两个数据项的文本向量与主题向量，使用余弦相似度计算公式，计算公式如式(3)：

得到两个文本数据项之间的相似度值。

2.根据权利要求1所述的一种基于BTM主题模型和Doc2vec的文本相似度计算方法，其特征在于，所述A＝200，B＝3，C＝200，D＝1，E＝4。

3.根据权利要求1所述的一种基于BTM主题模型和Doc2vec的文本相似度计算方法，其特征在于，所述分词工具为jieba分词工具。