[发明专利]一种大规模文本相似度计算及文本查重方法

说明书

本发明涉及一种大规模文本相似度计算及文本查重方法，包括：获取原始文本数据集，创建整数形式的指纹集合；将指纹集合及对应的文本id以字节数据方式存储，得到指纹库；获取目标文本，创建目标指纹；从指纹库读取所有字节数据，并存入map内存；根据目标指纹，从map内存中得到对比指纹集合，采用整数异或运算方法，分别计算目标指纹与对比指纹集合中各指纹之间的相似度；当相似度二进制数值中1的个数小于或等于预设值时，则判断该对比指纹与目标指纹相似，通过查询文本id，即完成目标文本的查重。与现有技术相比，本发明能够减少文档指纹存储占用空间、减少查询文档指纹时间，在保证准确度的基础上，大大提升相似度计算及文本查重效率。

技术领域

本发明涉及文本分析技术领域，尤其是涉及一种大规模文本相似度计算及文本查重方法。

背景技术

在文本分析领域，文本相似度的计算一直是研究的一个热门方向，能够应用于文本查重方面，但目前大多数方法只针对短文本的相似度计算，包括编辑距离的计算、杰卡德系数计算、TF计算以及word2vec等方法。其中编辑距离计算是指两个字符串之间有一个字符串转成另一个字符串所需要的最少编辑操作次数，编辑距离越大说明越是不同，编辑操作包括增加、替换、删除；杰卡德系数是指两个文本的交集除以并集得到的数值，数值越大说明越相似；TF或TF-IDF值是指对文本进行向量化然后计算两个文本的余弦值，值越大说明两个文本越相似；word2vec是指通过训练好的模型，将每个词转换成向量，再计算余弦值，值越大说明越相似。上述方法在少量的短文本相似度判断中具有较好的效率，但是在海量的长文本相似度计算或文本查重时，其效率就十分低下。

在对大规模文本进行相似度计算时，传统是采用指纹方式存储文本，最后利用指纹比较的方式实现相似度计算，目前文档指纹是以字符串(即类似“1010100011”)数据进行存储，将指纹字符串存储在数据库中，然后采用汉明距离计算两个字符串不同的位数，以作为两个指纹的距离，从而得到文档之间的相似度，这种方式存在以下缺陷：1、存储数据时需要占用大量空间；2、在较多文本进行对比时，通常会耗费较多的查询文档指纹时间。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种大规模文本相似度计算及文本查重方法，采用字节数据存储整数指纹的方式，能够大大减少数据存储空间，并通过整数异或运算，以快速计算指纹之间的距离，在保证准确度的基础上，能够大大提高相似度计算及文本查重效率。

本发明的目的可以通过以下技术方案来实现：一种大规模文本相似度计算及文本查重方法，包括以下步骤：

S1、获取原始文本数据集，创建对应整数形式的指纹集合，其中，原始文本数据集中包含多段语句，每一段语句均有对应的一个文本id；

S2、将指纹集合及各指纹对应的文本id均以字节数据方式进行存储，得到指纹库；

S3、获取目标文本，创建对应的目标指纹；

S4、从指纹库读取所有字节数据，并将所有指纹及对应的文本id存入相应的map内存；

S5、根据目标指纹，从map内存中得到对比指纹集合，采用整数异或运算方法，分别计算目标指纹与对比指纹集合中各指纹之间的相似度，并记录各个相似度二进制数值中1的个数；

S6、当相似度二进制数值中1的个数小于或等于预设值时，则判断该相似度对应map内存中的对比指纹与目标指纹相似，通过查询map内存中该对比指纹相应的文本id，即完成目标文本的查重。

进一步地，所述步骤S1具体包括以下步骤：

S11、获取原始文本数据集；

S12、对数据集中每一段语句进行分词，得到每一段语句对应的特征向量；

S13、通过hash函数计算每一段语句对应特征向量的hash值；