[发明专利]一种互联网舆情数据的获取方法及系统

权利要求书

1.一种互联网舆情数据的获取方法，其特征在于，包括：

利用爬虫技术，确定舆情相关度大于预设值的URL队列；

对所述URL队列中的每一URL地址进行解析，得到与每一URL地址对 应的页面信息；

利用Lucene技术，为每一URL地址对应的页面信息创建与舆情索引关 键词信息对应的索引文件。

2.根据权利要求1所述的获取方法，其特征在于，所述利用爬虫技术， 确定舆情相关度大于预设值的URL队列，包括：

确定与目标主题的舆情相关度大于预设值的种子URL地址，并将所述种 子URL地址存入所述URL队列；

获取所述URL队列中的每个种子URL地址的源代码，并提取每个源代 码中的所有URL地址，形成URL地址集，并将所述URL地址集存入所述 URL队列。

3.根据权利要求2所述的获取方法，其特征在于，将所述URL地址集 存入所述URL队列之前，还包括：

判断所述URL地址集中的每个URL地址是否符合预定网页提取规则；

若符合，则保留；若不符合，则从所述URL地址集中删除。

4.根据权利要求1所述的获取方法，其特征在于，所述利用Lucene技 术，为每一URL地址对应的页面信息创建与舆情索引关键词信息对应的索引 文件，包括：

从每个URL地址对应的页面信息中提取与预设舆情参数相对应的舆情索 引关键词信息；其中，所述预设舆情参数至少包括：标题、发布时间、发布 者、正文等；

将所述舆情索引关键词信息整理成规范的结构化数据保存至本地数据 库；

通过Lucene技术，为每个URL地址对应舆情索引关键词信息创建索引 文件。

5.根据权利要求1-4中任意一项所述的获取方法，其特征在于，所述为 每一URL地址对应的页面信息创建与舆情索引关键词信息对应的索引文件之 后，还包括：

接收用户发送的索引请求；

利用Lucene技术，解析所述索引请求中的关键词，查找与所述关键词相 对应的索引文件，并将查找到的索引文件所对应的URL地址返回给用户。

6.一种互联网舆情数据的获取系统，其特征在于，包括：

URL队列确定模块，用于利用爬虫技术，确定舆情相关度大于预设值的 URL队列；

页面信息解析模块，用于对所述URL队列中的每一URL地址进行解析， 得到与每一URL地址对应的页面信息；

索引文件创建模块，用于利用Lucene技术，为每一URL地址对应的页 面信息创建与舆情索引关键词信息对应的索引文件。

7.根据权利要求6所述的获取系统，其特征在于，所述URL队列确定 模块，包括：

种子URL地址确定单元，用于确定与目标主题的舆情相关度大于预设值 的种子URL地址，并将所述种子URL地址存入所述URL队列；

URL地址集提取单元，用于获取所述URL队列中的每个种子URL地址 的源代码，并提取每个源代码中的所有URL地址，形成URL地址集；

URL地址集添加单元，用于将所述URL地址集存入所述URL队列。

8.根据权利要求7所述的获取系统，其特征在于，所述URL队列确定 模块，还包括：

判断单元，用于判断所述URL地址集中的每个URL地址是否符合预定 网页提取规则；

若符合，则保留；若不符合，则从所述URL地址集中删除。

9.根据权利要求6所述的获取系统，其特征在于，所述索引文件创建模 块，包括：

舆情索引关键词信息提取单元，用于从每个URL地址对应的页面信息中 提取与预设舆情参数相对应的舆情索引关键词信息；其中，所述预设舆情参 数至少包括：标题、发布时间、发布者、正文等；

保存单元，用于将所述舆情索引关键词信息整理成规范的结构化数据保 存至本地数据库；

索引文件创建单元，用于通过Lucene技术，为每个URL地址对应舆情 索引关键词信息创建索引文件。

10.根据权利要求6-9中任意一项所述的获取系统，其特征在于，所述获 取系统还包括：

接收模块，用于接收用户发送的索引请求；

解析模块，用于利用Lucene技术，解析所述索引请求中的关键词，查找 与所述关键词相对应的索引文件，并将查找到的索引文件所对应的URL地址 返回给用户。