[发明专利]一种互联网舆情数据的获取方法及系统

说明书

技术领域

本发明涉及舆情监控技术领域，更具体地说，涉及一种互联网舆情数据 的获取方法及系统。

背景技术

随着因特网的飞速发展，网络媒体已成为第四媒体。社会舆情也越来越 多在网络里集中爆发，成为反映民间舆论的主要形式之一。网络舆情与生俱 来有偏差性(即缺乏规限和监督)、突发性(热点事件加上情绪化意见会成为导 火索迅速点燃一片舆论，难以掌控)、直接性(微博、微信、qq群已经成为网民 立即发表意见的平台)。但是目前市场上的公共舆情监测系统普遍存在爬虫抓 取范围不广、海量数据查询检索效率低下等问题。

因此，如何高效率的检测范围更广的互联网舆情数据，是本领域技术人 员需要解决的问题。

发明内容

本发明的目的在于提供一种互联网舆情数据的获取方法及系统，以实现 高效率的检测范围更广的互联网舆情数据。

为实现上述目的，本发明实施例提供了如下技术方案：

一种互联网舆情数据的获取方法，包括：

利用爬虫技术，确定舆情相关度大于预设值的URL队列；

对所述URL队列中的每一URL地址进行解析，得到与每一URL地址对 应的页面信息；

利用Lucene技术，为每一URL地址对应的页面信息创建与舆情索引关 键词信息对应的索引文件。

其中，所述利用爬虫技术，确定舆情相关度大于预设值的URL队列，包 括：

确定与目标主题的舆情相关度大于预设值的种子URL地址，并将所述种 子URL地址存入所述URL队列；

获取所述URL队列中的每个种子URL地址的源代码，并提取每个源代 码中的所有URL地址，形成URL地址集，并将所述URL地址集存入所述 URL队列。

其中，将所述URL地址集存入所述URL队列之前，还包括：

判断所述URL地址集中的每个URL地址是否符合预定网页提取规则；

若符合，则保留；若不符合，则从所述URL地址集中删除。

其中，所述利用Lucene技术，为每一URL地址对应的页面信息创建与 舆情索引关键词信息对应的索引文件，包括：

从每个URL地址对应的页面信息中提取与预设舆情参数相对应的舆情索 引关键词信息；其中，所述预设舆情参数至少包括：标题、发布时间、发布 者、正文等；

将所述舆情索引关键词信息整理成规范的结构化数据保存至本地数据 库；

通过Lucene技术，为每个URL地址对应舆情索引关键词信息创建索引 文件。

其中，所述为每一URL地址对应的页面信息创建与舆情索引关键词信息 对应的索引文件之后，还包括：

接收用户发送的索引请求；

利用Lucene技术，解析所述索引请求中的关键词，查找与所述关键词相 对应的索引文件，并将查找到的索引文件所对应的URL地址返回给用户。

一种互联网舆情数据的获取系统，包括：

URL队列确定模块，用于利用爬虫技术，确定舆情相关度大于预设值的 URL队列；

页面信息解析模块，用于对所述URL队列中的每一URL地址进行解析， 得到与每一URL地址对应的页面信息；

索引文件创建模块，用于利用Lucene技术，为每一URL地址对应的页 面信息创建与舆情索引关键词信息对应的索引文件。

其中，所述URL队列确定模块，包括：

种子URL地址确定单元，用于确定与目标主题的舆情相关度大于预设值 的种子URL地址，并将所述种子URL地址存入所述URL队列；

URL地址集提取单元，用于获取所述URL队列中的每个种子URL地址 的源代码，并提取每个源代码中的所有URL地址，形成URL地址集；

URL地址集添加单元，用于将所述URL地址集存入所述URL队列。

其中，所述URL队列确定模块，还包括：

判断单元，用于判断所述URL地址集中的每个URL地址是否符合预定 网页提取规则；

若符合，则保留；若不符合，则从所述URL地址集中删除。

其中，所述索引文件创建模块，包括：