[发明专利]一种相似新闻判别方法、系统及电子设备

权利要求书

1.一种相似新闻判别方法，其特征在于，包括如下步骤：

抓取步骤：对存量的新闻数据进行分词，对分词后的词语及其词频进行统计后建立词频库，所述词频是指词语在存量的新闻数据中出现的篇目数；

计算步骤：对每篇新闻数据分别分词并提取关键词，根据所述词频库分别计算所述关键词的权重；根据所述关键词及所述关键词的权重，计算每篇新闻数据的simhash值，并存入数据库中；对所述simhash值建立数据结构，和/或根据每篇新闻数据的simhash值进行相似处理，将相似的新闻数据合并入所述数据结构中，构建或更新得到相似的新闻id列表；

所述计算步骤中所述权重为tf-idf权重，所述计算步骤中所述权重的计算方法包括如下：

(21)b表示的是新闻数据a中的关键词，n表示关键词b在新闻数据a中出现次数，而m表示在所述词频库中，通过抓取步骤的统计得知关键词b在存量的新闻数据中出现的新闻条目数，那么在新闻数据a中的关键词b的词频因子tf为关键词b在新闻数据a中出现的次数除以新闻数据a中所有关键词在新闻数据a中出现的次数，即，

；

(22)则关键词b在新闻数据a中的的tf-idf权重为:

；

(23)从步骤(22)的计算结果中取出tf-idf权重在前500位的关键词及其所对应的权重，用于计算Simhash值；

所述计算步骤中所述Simhash值的计算方法包括：

(31)算出计算步骤所述关键词的64位md5的二进制hash值；

(32)若所述二进制hash值的第一位是1，则将所述二进制hash值的每一位和所述权重正相乘，否则将所述二进制hash值的每一位和所述权重负相乘；

(33)将步骤(32)中所有二进制hash值和权重相乘的结果，按位相加，得到一个新的64位的向量v1；

(34)对所述向量v1的每一位做如下处理：若该位的值大于等于0，则把该值改写为1，若该位的值小于0，则把该值改写为0，最终得到由0和1组成的64位二进制值v2，即Simhash值；

所述计算步骤所述数据结构的构建方法包括：

(41)对每篇新闻数据的所述Simhash值进行四次切割，每次切割以64位的16位二进制数做为键，其余48位做为值，然后把切割后的结果放入同一数据结构中；四次切割得到的做为键的4个16位二进制数的位置是互不重叠的；

所述计算步骤中每篇新闻数据的simhash值进行相似去重处理的过程包括：

对于每一篇新闻数据的Simhash值经过步骤(41)的计算后，得到四对键值对，记键为k，值为v，

(421)在步骤(41)获取的数据结构中寻找同为k的键，执行步骤(422)；

(422)若寻找到，获取对应的值集合vs，对于vs中的每一个键值vi，和值v计算汉明距离，执行步骤(423)；若无法寻找到，执行下一篇新闻数据的新闻数据的simhash值进行相似处理；

(423)若vi和v汉明距离小于之前设定的阈值，则记录该vi值对应的新闻id，执行步骤(424)；

(424)所述Simhash值是否包括未处理的键值对，如存在，则对未处理的键值对重复步骤(421)；如不存在，执行步骤(425)；

(425)构建或更新相似的新闻id列表。

2.根据权利要求1所述的相似新闻判别方法，其特征在于，还包括更新步骤：每间隔一定时间载入新的新闻数据，对所述新的新闻数据执行所述计算步骤，并更新所述数据库、所述数据结构和所述相似的新闻id列表。

3.根据权利要求2所述的相似新闻判别方法，其特征在于，所述计算步骤中所述相似处理的方法是，对所有存量的新闻数据的simhash值处理成键和值并存放在同一数据结构中，对单个新闻数据的键和值分别合并入所述数据结构中。

4.根据权利要求1所述的相似新闻判别方法，其特征在于，对所述计算步骤中更新得到相似的新闻id列表的字段包括“是否是最新的条目”或“相似条目id列表”或“相似条目数量”；

(43)输入“是否是最新的条目”的真值参数，筛选更旧的重复条目，用以达到相似去重的效果；

(44)：输入“相似条目id列表”倒序排列，获取符合条件的传播最广的新闻数据。