[发明专利]一种面向微博的定制化筛选系统及方法

说明书

技术领域

本发明涉及一种筛选系统及方法，尤其涉及一种面向微博的定制化筛选系统及方法，属于网络信息技术领域。

背景技术

微博是一个基于用户关系的信息分享、传播以及获取平台，用户可以通过WEB、WAP以及各种客户端组件个人社区，以140字左右的文字更新信息，并实现即时分享。中国互联网络信息中心(CNNIC)今日发布《第28次中国互联网络发展状况统计报告》，报告显示，2011年上半年，中国微博用户从6331万增至1.95亿，增长约2倍，巨大的用户量也会微博带来了巨大的信息量。

微博网站现在的即时通讯功能非常强大，通过QQ和MSN直接书写，在没有网络的地方，只要有手机也可即时更新自己的内容，哪怕你就在事发现场。类似于一些大的突发事件或引起全球关注的大事，如果有微博客在场，利用各种手段在微博客上发表出来，其实时性、现场感以及快捷性，甚至超过所有媒体。

虽然微博能快速更新信息，信息的实时性强，但是频繁更新信息的同时也带来了大量的无用数据，再加上庞大的微博用户群体，以及微博多途径、快捷、方便的发布方式，出现了信息过载的问题，对有效信息的使用造成不便。

发明内容

本发明的目的是针对现有技术信息过载，对有效信息的使用不便的不足，提供一种能从大量的微博信息中过滤出有效的微博数据的面向微博的定制化筛选系统。

本发明解决上述技术问题的技术方案如下：一种面向微博的定制化筛选系统，包括后台模块和交互模块，所述后台模块用于采集数据、分析数据、本地存储、建立索引并提供检索功能；

所述交互模块与后台模块信息交互，并提供与后台模块交互的WEB界面；

所述后台模块依次包括信息交互的采集模块、分析模块、索引模块和检索模块；所述采集模块，采集原始微博数据；

所述分析模块对采集模块传输的数据进行抽取、去重及过滤得到有效数据，并对有效数据分类、存储，所述过滤包括对垃圾、广告及黄反数据的过滤；

所述索引模块对分析模块传输至的数据进行中英文分词，根据分词的结果建立倒排索引及增量索引，并根据微博状态文件定期的删除索引；

所述检索模块接收交互模块传输的检索关键字，并对检索关键字进行纠错、同义词转换、分词及优化，并对检索结果进行筛选和排序，进一步将排序结果返回交互模块。

本发明的有益效果是：本系统是解决信息过载的一种解决方案，即从庞大的微博数据中，针对性地筛选出用户关注的一类信息，为用户过滤掉一大批非关注信息，并能将这些数据本地化存储，方便用户长期使用；并通过验证机制增强系统本身的安全性；整个系统的工作逻辑清晰、流畅，减少了系统各模块之间的耦合度，每模块内部都由若干模块组成，有利于每模块功能的扩展。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述检索模块包括Query检索关键字处理模块和Query检索关键字优化模块，所述Query处理模块接收交互模块传输至的Query检索关键字，对Query检索关键字进行处理，并将处理后的Query发送至Query优化模块；

所述Query优化模块对Query处理模块发送至的Query进行省略变换和分类，并将Query及其分类发送给索引模块，接收索引模块返回的结果；

所述Query优化模块包括Query省略模块和Query分类模块，所述Query省略模块接收Query处理模块发送至的数据，并将所述数据进行正则匹配，将不匹配的Query进行省略；所述Query分类模块将来自Query省略模块的数据根据它的主题进行分类，并将分类后的数据传输至索引模块；

所述Query省略模块通过挖掘规则对传输至的数据进行处理，查找出不重要的分词，并建立正则规则，对于后输入的数据与所述正则规则进行匹配。

进一步，所述交互模块包括权限控制模块、查询模块、筛选模块、入库数据管理模块和特定管理模块，所述权限控制模块控制不同用户对系统的不同操作权限；

所述查询模块通过排行查询、标签查询和高级检索的方式实现对微博信息的查看；

所述筛选模块筛选数据并添加自定义主题，并将其存储到数据库中；

所述入库数据管理模块对筛选模块中已存入数据库的数据进行展示；

所述特定管理模块用于对名人和机构名称、名人和机构分类及url网页地址进行管理。