[发明专利]基于文本内容特征的公众号信息存储方法及检索系统

说明书

本发明公开了基于文本内容特征的公众号信息存储方法，包括：采集公众号文章，提取公众号文章的唯一标识和特征文本，并将特征文本转化为特征标识，并将公众号文章与特征标识关联存储；根据公众号文章确定索引字段，建立索引字段与公众号文章的关联关系，生成索引数据，所述索引字段至少包括唯一标识；为多个索引节点分别配置唯一标识范围，将索引数据按照其唯一标识存储至相应的索引节点。本发明还提供了基于文本内容特征的公众号信息检索系统。本发明能够避免大量相同文章同时显示，并且能够保证检索系统的稳定性和效率。

技术领域

本发明涉及信息去重、筛选技术领域。更具体地说，本发明涉及一种基于文本内容特征的公众号信息存储方法及检索系统。

背景技术

当今社会，互联网发展十分迅速，导致网民的数量急剧上升。随着网民数量的上升，互联网越来越成为人们获取信息的主要途径，微信作为目前主流的网络社交工具之一，是现代人们获取社会热点信息、分享知识经验和文字交流的主要手段。它的微信公众号子功能是以上手段的主要实现平台。

作为一个网络社交平台，微信公众号既继承互联网信息的传播速度快、影响范围广、查阅便捷等优点。同时也具有内容质量参差不齐、信息真假难辨、内容大量抄袭等缺点。随着微信用户群体的逐渐上升和公众号数量的暴涨，内容重复这一问题愈发明显。同一热点话题的某篇文章会被许多公众号进行转发，或者在其基础之上简单修改便发布，内容同质化严重。如果不对文章信息进行合并处理，很容易造成检索结果中出现大量的相同结果，给浏览造成不便。

同时，由于微信平台的用户群体庞大，数据量短时间内就会积累到一个很大的量，单检索节点完全难以承受，严重影响检索的响应效率和运行稳定性。因此，需要一个能够进行结果整理的分布式高效检索系统。

发明内容

本发明的一个目的是提供一种基于文本内容特征的公众号信息存储方法和检索系统，其提取公众号文章的特征文本，并将特征文本转换为特征标识，检索时，将具有相同特征标识的文章合并，避免检索时出现大量的相同结果。

为了实现根据本发明的这些目的和其它优点，提供了基于文本内容特征的公众号信息存储方法，包括：

采集公众号文章，提取公众号文章的唯一标识和特征文本，并将特征文本转化为特征标识，并将公众号文章与特征标识关联存储；

根据公众号文章确定索引字段，建立索引字段与公众号文章的关联关系，生成索引数据，所述索引字段至少包括唯一标识；

为多个索引节点分别配置唯一标识范围，将索引数据按照其唯一标识存储至相应的索引节点。

优选的是，所述的基于文本内容特征的公众号信息存储方法，还包括：

当采集到新的公众号文章，则将其唯一标识与已存储的公众号文章的唯一标识对比，若一致，则不存储。

优选的是，所述的基于文本内容特征的公众号信息存储方法，选取公众号文章的最长文段作为特征文本；

若公众号文章文段数小于5，并且最长文段的字数小于200字，则选取标题作为特征文本。

优选的是，所述的基于文本内容特征的公众号信息存储方法，用MurmurHash算法将特征文本转换为哈希值，将哈希值作为特征标识。

优选的是，所述的基于文本内容特征的公众号信息存储方法，将唯一标识加上预设字符串，然后用MurmurHash算法转换为哈希值，将该哈希值和特征标识均作为索引字段。

本发明还提供了基于文本内容特征的公众号信息检索系统，包括：

采集装置，其用于采集公众号文章和对应的唯一标识；

特征分析装置，其用于取公众号文章的特征文本，将特征文本转化为特征标识，并将特征标识与公众号文章关联；