[发明专利]基于云计算的互联网信息监测系统及方法

说明书

技术领域

本发明涉及一种网络技术，特别涉及一种基于云计算的互联网信息监测系统及方法。

背景技术

随着互联网的快速发展，网络媒体作为一种新的信息传播形式，已深入人们的日常生活。网友言论活跃已达到前所未有的程度，不论是国内还是国际重大事件，都能马上形成网上舆论，通过这种网络来表达观点、传播思想，进而产生巨大的舆论压力，达到任何部门、机构都无法忽视的地步。可以说，互联网已成为思想文化信息的集散地和社会舆论的放大器。

为了迎合对互联网上信息快速搜集的需要，因而出现了一种互联网信息实时监测系统。互联网信息实时监测系统是一种在基础计算硬件和计算资源的基础上，应用特定的信息采集软件，将互联网上用户感兴趣的内容采集下来，并实现存储和管理的一种系统。系统可以为实时垂直搜索引擎、互联网舆论监测(舆情监测)、商业品牌评论调研、企事业危机管理、社会突发公共事件等应用提供解决方案。其可以通过对网页内容的自动采集处理、敏感词过滤、智能聚类分类、主题检测、专题聚焦、统计分析的系统，实现对相关网络监督管理的需要，并最终形成简报、专报、分析报告、移动快报等，为决策层全面掌握信息动态，做出正确引导，提供分析依据。

目前，市场上的互联网信息实时监测系统的设计采用的是传统的软硬件系统思路。一个厂商会为一个客户提供一套计算硬件、一套搜索软件和一套管理软件，而且整个系统由该用户独占，和其他用户没有关系。

如图1所示，其为现有的一种互联网信息实时监测系统的结构示意图。用户终端10通过宽带等硬件设施连接到互联网13上，终端10包括有搜索单元11和数据管理单元12，搜索单元11从互联网站点中采集相关的信息，并传输给数据管理单元12，由数据管理单元12汇总形成用户指定形式的信息数据。

这种互联网信息实时监测系统可以自主地对网络信息进行监测，并按照用户的需要有针对性地采集信息，可以大大节约用户遍历网络站点所需要的时间。但是，现有的互联网信息实时监测系统也存在着一些缺陷：

由于各个用户所使用的系统和计算资源是相互独立的，而单个用户不可能承担实时遍历整个互联网的硬件投入(实际一套系统一般仅包括若干台服务器，例如3-5台)，因而大大限制了单个用户对信息的采集范围。并且有限的计算资源也使系统对网络站点的遍历时间过长，导致信息的实时性不高，这就从根本上降低了系统的服务质量。

发明内容

本发明的目的是提出一种基于云计算的互联网信息监测系统，以解决现有的互联网信息监测系统采集范围小、实时性不高的问题。

本发明的另一目的是提出一种基于云计算的互联网信息监测方法，以解决现有的互联网信息监测系统采集范围小、实时性不高的问题。

本发明提出一种基于云计算的互联网信息监测系统，用于对互联网信息进行实时采集，包括若干用户终端、采集任务协调器和数据协调器。用户终端与互联网相连，用于对互联网信息进行实时监测和采集，并对采集到的信息进行规划和管理。其中，每个用户终端又进一步包括搜索单元和数据管理单元。搜索单元用于对互联网站点进行监测和采集。数据管理单元用于对采集得到的互联网信息进行管理。采集任务协调器与所有的搜索单元相连，用于将各个用户需要遍历的互联网站点汇总为一个总的采集范围，并进行划分后，将相应的搜索范围信息分配给各个搜索单元。数据协调器与所有的搜索单元及所有的数据管理单元相连，用于将所有的搜索单元采集到的数据进行汇总，并根据各个用户的需要，分配传输到各个数据管理单元中。

依照本发明较佳实施例所述的基于云计算的互联网信息监测系统，采集任务协调器还包括独有采集目标反馈子单元，其与所有的搜索单元相连，用于对各个用户的信息采集范围进行分析，并将用户独有的采集站点信息反馈给相应的搜索单元，以由搜索单元从独有采集站点处采集的信息，直接导入本地的数据管理单元中。

本发明另提出一种基于云计算的互联网信息监测方法，其包括以下步骤：(1)获取各个用户终端关于互联网站点的采集范围。(2)将所有用户终端的采集范围进行汇总。(3)将汇总后的采集范围重新划分，并分配给各个用户终端。(4)接收所有用户终端采集的互联网信息并进行汇总。(5)根据各个用户终端的需要，将相应的互联网信息分配传输给各个用户终端。

依照本发明较佳实施例所述的基于云计算的互联网信息监测方法，在将所有用户终端的采集范围进行汇总之后，根据各个用户终端的计算资源对采集范围进行重新划分，并分配给相应的各个用户终端。