[发明专利]数据采集方法和装置

权利要求书

1.一种数据采集方法，其特征在于，所述方法包括：

读取配置信息，所述配置信息包括节点信息、集群名称以及监控项；

根据节点信息确定Hadoop集群的主节点；

访问所述主节点，根据所述集群名称获取所述Hadoop集群的节点拓扑结构；

并发访问所述节点拓扑结构中的每个节点，从每个节点的监控记录中获取与所述监控项对应的监控数据。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述监控数据按照不同的监控项存储至时间序列数据库。

3.根据权利要求2所述的方法，其特征在于，将所述监控数据按照不同的监控项存储至时间序列数据库包括：

在所述时间序列数据库中将所述监控数据按照不同的监控项分别保存；

对监控数据用标签进行标注，以区分不同的数据源。

4.根据权利要求3所述的方法，其特征在于，将所述监控数据按照不同的监控项存储至时间序列数据库进一步包括：

在所述时间序列数据库中对监控数据按照不同的数据源分别进行聚合。

5.根据权利要求2所述的方法，其特征在于，所述方法还包括：

接收针对监控项的数据查询请求；

根据请求的监控项从所述时间序列数据库中输出对应的监控数据作为查询结果。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将获取到的监控数据接入具有报警功能的运维自动化系统，由所述运维自动化系统根据不同监控项的预设报警策略输出报警信息。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

利用网络爬虫工具抓取所述Hadoop集群对应的前端服务页面的操作数据；

将所述操作数据接入运维自动化系统，由所述运维自动化系统根据操作数据的预设报警策略输出报警信息。

8.一种数据采集装置，其特征在于，所述装置包括：

读取模块，用于读取配置信息，所述配置信息包括节点信息、集群名称以及监控项；

主节点选择模块，用于根据节点信息确定Hadoop集群的主节点；

集群拓扑获取模块，用于访问所述主节点，根据所述集群名称获取所述Hadoop集群的节点拓扑结构；

监控数据获取模块，用于并发访问所述节点拓扑结构中的每个节点，从每个节点的监控记录中获取与所述监控项对应的监控数据。

9.一种电子设备，其特征在于，包括存储器和处理器；所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机被所述处理器执行以实现权利要求1至7任意一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1至7任意一项所述方法的步骤。