[发明专利]舆情大数据处理方法

权利要求书

1.一种舆情大数据处理方法，用于在分布式数据采集架构中对网络舆情数据进行爬取，其特征在于，包括：

控制节点协调多个爬取节点的爬取事务；

爬取节点分别进行网页爬取，将获取的舆情数据存储在云文件系统中。

2.根据权利要求1所述的方法，其特征在于，所述控制节点启动各个爬取节点、事务的分发、管理爬取节点状态、管理URL以及爬取节点。

3.根据权利要求1所述的方法，其特征在于，所述控制节点根据自身的配置信息获取已部署爬取节点的数量，以远程登录的方式启动爬取节点。

4.根据权利要求1所述的方法，其特征在于，所述控制节点初始化事务分发时，向各个爬取节点发送爬取事务，控制节点首先探测各个爬取节点的连通性；将物理上无法连通的主机的信息从数据库中删除，然后进入事务分发阶段；当爬取节点返回URL时，控制节点再给请求的爬取节点发送事务；爬取过程中对于从爬取的网页抽取的URL则返回给控制节点，由控制节点统一调度；控制节点以固定个数的URL不断向请求事务的爬取节点发送事务。

5.根据权利要求1所述的方法，其特征在于，所述爬取节点启动后向控制节点发送一个就绪状态信息，表明该爬取节点已经做好准备，可以接受爬取事务；控制节点收到爬取节点的就绪信息后，生成一个初始事务，即封装待爬取的网页的URL，并以文件的形式发送到爬取节点某个特定的路径下；如果控制节点发现当前数据库中无数据而且系统中还有爬取节点在爬取，则向该爬取节点发送等待信息，爬取节点根据收到运行信息，到相应的路径下，装载待爬取URL到爬取队列，在当前爬取完之后继续爬取下一次事务；爬取节点若收到等待信息，爬完当前事务后，保持等待状态，直到控制节点将其唤醒；在爬取网页的过程中，抽取出的URL达到预定量后，封装成一个数据文件，爬取节点将其发送到控制节点的特定路径下，控制节点到指定路径下装载数据至数据库中；当爬取节点即将完成本次爬取事务的时候，同样向控制节点发送就绪状态信息。