[发明专利]互联网数据中心有害信息监测系统

摘要

本发明公开了互联网数据中心有害信息监测系统，包括爬虫系统和有害信息监测系统，有害信息监测系统通过爬虫系统获取互联网数据中心中的网页数据，并对其进行有害分析，爬虫系统包括多个由爬虫结点和爬虫根节点组成的爬虫集群，爬虫结点均包括多线程网页采集模块、网页库、编码识别处理模块、网页内容自动提取模块、URL过滤器、URL去重模块和URL调度模块；有害信息监测系统通过有害信息搜索单元、自动分词单元、关键字处理单元和模糊匹配单元实现更加精确的搜索。本发明提供了强大的数据收集功能，通过多个爬虫集群对动态网页和静态网页进行全面的实时监控，能够从海量数据中，采集到与敏感词有关的数据，做到主动发现有害网页。

主权项

互联网数据中心有害信息监测系统，它包括爬虫系统和有害信息监测系统，有害信息监测系统通过爬虫系统获取互联网数据中心中的网页数据，并对其进行有害分析，其特征在于：所述爬虫系统包括一个或多个爬虫集群，且每个爬虫集群均包括多个爬虫结点和一个爬虫根节点，形成一个分布式的数据采集网络，其中，爬虫根节点用于对该爬虫集群中的爬虫结点进行控制和管理，并与有害信息监测系统进行相互通信，爬虫结点用于采集网络中的有害信息，爬虫结点均由以下多种模块组成：多线程网页采集模块，包括多种网页采集通道及网页解析模块，针对不同类型的网页，通过与其相匹配的网页采集通道和网页解析模块对其进行采集；网页库，存储多线程网页采集模块所采集的网页；编码识别处理模块，自动识别网页的编码类型，并对其进行编码转换处理；网页内容自动提取模块，包括动态网页内容提取模块和静态网页内容提取模块，根据敏感词库根据敏感词库抓取编码转换处理后存在有害信息网页的URL；URL过滤器，过滤不需要下载的URL；URL去重模块，用于判断过滤后的URL是否与URL存储器中所存储的URL一致，若一致则不再对该URL进行后续的处理；URL调度模块，根据去重后的URL队列，控制多线程网页采集模块下载相应的网页；所述有害信息监测系统包括有害信息搜索单元、自动分词单元、关键字处理单元和模糊匹配单元；有害信息搜索单元包括本地搜索端口和网络搜索端口，本地搜索端口用于启动本地爬虫结点的搜索引擎，在本地执行该有害信息搜索任务；网络搜索端口用于启动多个爬虫结点的搜索引擎，通过多个爬虫结点同时执行该有害信息搜索任务，还通过该网络搜索端口将搜索结果返回到该本地爬虫结点；有害信息搜索单元还包括关键字筛选器、标签字段筛选器、元数据字段筛选器和时间筛选器中的一种或多种的组合，通过多种筛选器及其组合完成精确搜索；关键字处理单元用于生成关键字搜索指令，有害信息搜索单元根据该关键字搜索指令执行有害信息搜索任务；模糊匹配单元用于根据输入的搜索字符串匹配相近似的近似词汇，使有害信息搜索单元对搜索字符串进行搜索的同时，还完成近似词汇的搜索，并返回近似词汇搜索结果；自动分词单元用于将输入的搜索字符串进行自动提取关键字，使有害信息搜索单元根据该自动提取关键字完成精确搜索。