[发明专利]一种爬虫集群监控方法、装置、存储介质及计算机设备

权利要求书

1.一种爬虫集群监控方法，其特征在于，包括：

获取子节点发送的结果信息，其中，所述结果信息中携带有所述子节点对应的身份标识和节点状态标识；

利用所述身份标识在本地配置文件中匹配相应的结果信息类型以及节点状态类型，其中，所述配置文件中预先配置有与各子节点相关联的结果信息类型和节点状态类型；

依据匹配得到的所述结果信息类型和节点状态类型，以及所述子节点发送的结果信息和节点状态标识，判断所述子节点是否为异常子节点；

若是，则对所述异常子节点进行删除和重建处理。

2.根据权利要求1所述的方法，其特征在于，所述利用所述身份标识在本地配置文件中匹配相应的结果信息类型以及节点状态类型，包括：

读取本地配置文件；

根据所述身份标识在所述配置文件中匹配相应的子节点；

提取与所述子节点相关联的结果信息类型以及节点状态类型。

3.根据权利要求1所述的方法，其特征在于，所述依据匹配得到的所述结果信息类型和节点状态类型，以及所述子节点发送的结果信息和节点状态标识，判断所述子节点是否为异常子节点，包括：

分别判断所述结果信息与所述结果信息类型、所述节点状态标识与所述节点状态类型是否一致；

若所述结果信息与所述结果信息类型不一致，和/或所述节点状态标识与节点状态类型不一致，则将所述子节点确定为异常子节点。

4.根据权利要求1所述的方法，其特征在于，所述若是，则对所述异常子节点进行删除和重建处理，包括：

提取所述异常子节点的路径信息；

根据所述路径信息，删除目标位置的异常子节点；

在所述目标位置重新创建子节点；

根据所述重新创建的子节点对本地配置文件进行更新；

读取所述更新后的配置文件，以将所述子节点添加至爬虫集群监控中。

5.根据权利要求1所述的方法，其特征在于，所述若是，则对所述异常子节点进行删除和重建处理之后，所述方法还包括：

当检测到新增爬虫装置时，获取所述爬虫装置对应子节点的路径信息；

根据所述路径信息，在目标位置创建子节点；

根据所述子节点对本地配置文件进行更新；

读取所述更新后的配置文件，以将所述子节点添加至爬虫集群监控中。

6.根据权利要求1所述的方法，其特征在于，所述获取子节点推送的结果信息，其中，所述子节点用于将身份标识和节点状态标识添加到所述结果信息中，并发送所述结果信息。

7.根据权利要求1所述的方法，其特征在于，所述若是，则对所述异常子节点进行删除和重建处理之前，所述方法还包括：

根据所述异常子节点信息，反馈告警信息；

在接收到删除重建指令后，对所述异常子节点进行删除重建处理。

8.一种爬虫集群监控装置，其特征在于，包括：

获取单元，用于获取子节点发送的结果信息，其中，所述结果信息中携带有所述子节点对应的身份标识和节点状态标识；

匹配单元，用于利用所述身份标识在本地配置文件中匹配相应的结果信息类型以及节点状态类型，其中，所述配置文件中预先配置有与各子节点相关联的结果信息类型和节点状态类型；

判断单元，用于依据匹配得到的所述结果信息类型和节点状态类型，以及所述子节点发送的结果信息和节点状态标识，判断所述子节点是否为异常子节点；

删除重建单元，用于若是，则对所述异常子节点进行删除和重建处理。

9.一种存储介质，其上存储有计算机程序，所述存储介质中存储有至少一可执行指令，所述执行指令使处理器执行如权利要求1-7中任一项所述的爬虫集群监控方法对应的操作。

10.一种计算机设备，包括处理器、存储器、通信接口和通信总线所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信，所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的爬虫集群监控方法对应的操作。