[发明专利]一种分布式文件系统的数据采集方法和数据采集系统

说明书

技术领域

本发明涉及文件系统技术领域，特别涉及一种分布式文件系统的数据采集方法和数据采集系统。

背景技术

分布式文件系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络连接在网络中的其它节点上，由于具体节点的物理设备多种多样，且节点数量众多，分布范围很广，因此对于分布式文件系统中各节点的各种数据的采集，一直是一个难题。

以对分布式文件系统的性能测试数据的采集为例，现有的方法一般是由技术人员依次对分布式文件系统中的每一个被测节点进行测试，运行测试程序，再逐一将测试后得到的测试数据收集起来，直至采集到所有被测节点的测试数据，最后再对采集到的测试数据进行分析，评估分布式文件系统的总体性能。

对于分布式文件系统的其它数据的采集，也都使用类似方法，但是现有的方法其缺点是很明显的，就是只能由技术人员逐个节点采集数据，而不能自动同时采集多个节点的数据，但是对于一些需要多节点同时并发进行的应用，比如测试分布式文件系统的并发存储性能，逐个节点采集数据的方式将无法得到有意义的测试数据，而安排多个技术人员同时进行数据采集的操作难度和实现成本太大。

发明内容

本发明实施例提供一种分布式文件系统的数据采集方法，能够同时从多个节点统一采集数据。

本发明实施例提供一种分布式文件系统的数据采集系统，能够同时从多个节点统一采集数据。

为达到上述目的，本发明的技术方案具体是这样实现的：

一种分布式文件系统的数据采集方法，其特征在于，该方法包括：

预先在分布式文件系统的被测节点中集成驻留模块；

所述驻留模块根据指令获取采集任务；根据指令在被测节点上启动采集任务；根据指令上传被测节点执行采集任务后得到的数据。

较佳地，所述驻留模块根据指令获取采集任务，包括：

根据获取采集任务指令中采集任务存放的地址下载采集任务，并保存到该指令中指定的保存位置。

较佳地，所述根据指令在被测节点上启动采集任务包括：

接收到采集任务启动指令后，指令被测节点运行所述指定的保存位置下的采集任务。

较佳地，所述根据指令上传被测节点执行采集任务后得到的数据，包括：

根据采集数据指令中指定的位置，上传被测节点通过执行采集任务后得到的数据。

较佳地，所述根据指令在被测节点上启动采集任务之后，根据指令上传被测节点执行采集任务后得到的数据之前，该方法进一步包括：

接收到采集任务结束指令后，指令被测节点停止运行所述指定的保存位置下的采集任务。

一种分布式文件系统的数据采集系统，该系统包括：

数据采集装置，用于指令驻留模块获取采集任务，指令驻留模块在被测节点上启动采集任务，指令驻留模块上传被测节点执行采集任务后得到的数据。

驻留模块，用于根据所述数据采集装置的指令获取采集任务，根据所述数据采集装置的指令在被测节点上启动采集任务；根据所述数据采集装置的指令上传被测节点执行采集任务后得到的数据。

较佳地，所述数据采集装置包括：

任务分发模块，用于向所述驻留模块发送获取采集任务指令；

运行管理模块，用于向所述驻留模块发送采集任务启动指令；

数据处理模块，用于向所述驻留模块发送采集数据指令。

较佳地，所述驻留模块包括：

指令接收模块，用于接收所述数据采集装置发送的指令；

指令执行模块，用于根据所述指令接收模块接收到的指令，执行相应的操作，包括：根据所述获取采集任务指令中采集任务存放的地址下载采集任务，并保存到该指令中指定的保存位置；根据所述采集任务启动指令，指令被测节点运行所述指定的保存位置下的采集任务；根据所述采集数据指令中指定的位置，上传被测节点通过执行采集任务后得到的数据。

较佳地，所述运行管理模块，进一步用于向所述驻留模块发送采集任务结束指令。

较佳地，所述指令执行模块，进一步用于根据采集任务结束指令，指令被测节点停止运行所述指定的保存位置下的采集任务。

由上述的技术方案可见，本发明的这种分布式文件系统的数据采集方法和数据采集系统，在分布式文件系统的各被测节点中预先植入驻留模块，通过向驻留模块统一分发采集任务、并指令驻留模块在被测节点上启动采集任务，并上传通过执行采集任务得到的数据，从而能够实现同时从多个被测节点统一采集数据。

附图说明

图1为本发明实施例的分布式文件系统的数据采集系统示意图；