[发明专利]用于大规模网络数据采集的监控与统计分析方法和系统

权利要求书

1.一种用于大规模网络数据采集的监控与统计分析方法，其特征在于，包括：

将参与数据采集的节点注册为采集节点或调度节点，根据采集任务通过该调度节点的调度器，调度该采集节点拉取采集器并对该采集器进行配置；通过该采集器执行该采集任务，获取结构化数据；

监控并统计采集状态信息，并根据用户的查询请求将该采集状态信息发送给该用户；

获取从信源所采集的结构化数据的相似度，通过该相似度对该信源进行相似度打分，以得到相似度分值；获取该信源最近m个采集量的变化量，该信源最近p个该相似度分值的变化量，其中m、p为正整数；若该采集量的变化量大于第一阈值，或该相似度分值的变化量大于第二阈值，则判断该信源为潜在失效信源，并将该信源推送给该用户。

2.如权利要求1所述的监控与统计分析方法，其特征在于，该采集状态信息包括该采集节点的工作状态、该调度节点的工作状态、该采集任务的工作状态、针对该信源的采集量、该信源的活跃等级该采集状态信息、该采集任务的采集任务信息和该采集任务的信源统计信息。

3.如权利要求2所述的监控与统计分析方法，其特征在于，按照预设的采集时间粒度，统计以该结构化数据，以获取该采集量；其中该采集时间粒度的设定包括分、小时、天、周、月；按照预设的活跃度时间粒度，获取该信源的最近n个活跃度时间粒度的数据采集量，以计算该活跃等级；该活跃度时间粒度的设定包括分、小时、天、周、月，其中n为正整数。

4.一种用于大规模网络数据采集的监控与统计分析系统，其特征在于，包括：

数据获取模块，用于将参与数据采集的节点注册为采集节点或调度节点，根据采集任务通过该调度节点的调度器，调度该采集节点拉取采集器并对该采集器进行配置，通过该采集器执行该采集任务，获取结构化数据；

监控统计模块，用于监控并统计采集状态信息，并根据用户的查询请求将该采集状态信息发送给该用户；

信源失效检测模块，用于通过比较采集量的变化量和/或该结构化数据的相似度的变化量，获取该信源的实时状态，当该实时状态为潜在失效信源时，将该信源推送给该用户；该信源失效检测模块包括：相似度分值获取模块，用于获取从该信源所采集的结构化数据的相似度，通过该相似度对该信源进行相似度打分，以得到相似度分值；并获取该信源最近m个该采集量的变化量，以及该信源最近p个该相似度分值的变化量，其中m、p为正整数；潜在失效信源判断模块，用于判断该信源的有效性，若该采集量的变化量大于第一阈值，或该相似度分值的变化量大于第二阈值，则判断该信源为潜在失效信源。

5.如权利要求4所述的监控与统计分析系统，其特征在于，该采集状态信息包括该采集节点的工作状态、该调度节点的工作状态、该采集任务的工作状态、针对该信源的采集量、该信源的活跃等级该采集状态信息、该采集任务的采集任务信息和该采集任务的信源统计信息。

6.如权利要求5所述的监控与统计分析系统，其特征在于，该统计模块包括：

采集量统计模块，用于按照预设的采集时间粒度，统计以该结构化数据，以获取该采集量；其中该采集时间粒度的设定包括分、小时、天、周、月；

活跃度等级统计模块，用于按照预设的活跃度时间粒度，获取该信源的最近n个活跃度时间粒度的数据采集量，以获取该活跃等级；该活跃度时间粒度的设定包括分、小时、天、周、月，其中n为正整数。

7.一种计算机可读存储介质，存储有计算机可执行指令，该计算机可执行指令用于执行如权利要求1~3任一项所述的用于大规模网络数据的监测与统计分析方法。

8.一种数据处理设备，包括如权利要求7所述的计算机可读存储介质，该数据处理设备调取并执行该计算机可读存储介质中的计算机可执行指令，进行大规模网络数据采集的监测与统计分析。