[发明专利]Hadoop集群用户资源监控方法和系统

权利要求书

1.一种Hadoop集群用户资源监控方法，其特征在于，包括：

从Hadoop集群的主、备节点采集用户的作业日志信息；

从用户的作业日志信息中按照设定的数据参数提取出对应的有用数据；以及

根据统计参数统计所述有用数据，得到与其对应的统计数据。

2.根据权利要求1所述的Hadoop集群用户资源监控方法，其特征在于，所述有用数据包括用户数据、作业数据和资源数据。

3.根据权利要求2所述的Hadoop集群用户资源监控方法，其特征在于，所述统计参数分别为用户身份标识、作业标识、作业运行时间、总作业量、单位时间提交作业量、总作业量对应的总运行时间、使用资源量、总作业量对应的总使用资源量、占用资源量、总作业量对应的总占用资源量、被抢占资源量和总作业量对应的总被抢占资源量中的一种或多种；

对应地，所述用户数据为用户名；

所述作业数据为作业标识和每个作业的运行时间；

所述资源数据为每个作业的使用资源量、每个作业的占用资源量和每个作业的被抢占资源量。

4.根据权利要求1所述的Hadoop集群用户资源监控方法，其特征在于，还包括：

对所述统计数据按照预置排序参数排序。

5.根据权利要求1所述的Hadoop集群用户资源监控方法，其特征在于，还包括：

接收查询指令，根据查询指令中的查询条件，从得到的统计数据中查询符合查询条件的统计数据。

6.根据权利要求1所述的Hadoop集群用户资源监控方法，其特征在于，还包括：

在接收到查询指令时，从所述查询指令中的查询条件中解析出所述统计参数。

7.根据权利要求5或6所述的Hadoop集群用户资源监控方法，其特征在于，还包括：输出符合查询条件的统计数据。

8.一种Hadoop集群用户资源监控系统，其特征在于，包括：

采集模块，用于从Hadoop集群的主、备节点实时采集用户的作业日志信息；

数据提取模块，用于从用户的作业日志信息中按照设定的数据参数提取出对应的有用数据；和

统计模块，用于根据统计参数统计所述有用数据，得到与其对应的统计数据。

9.根据权利要求8所述的Hadoop集群用户资源监控系统，其特征在于，所述采集模块包括：

接口调用单元，用于调用Yarn API，通过所述Yarn API从Hadoop集群的主、备节点收集用户的作业日志信息；和

数据保存单元，用于将收集到的用户的作业日志信息存入数据持久层的数据库。

10.根据权利要求9所述的Hadoop集群用户资源监控系统，其特征在于，所述采集模块还包括：

格式转换单元，用于按照预定格式规则，转换所述Yarn API收集的用户的作业日志信息的格式；对应地，所述数据保存单元将转换格式后的用户的作业日志信息存入数据持久层的数据库。

11.根据权利要求8所述的Hadoop集群用户资源监控系统，其特征在于，还包括交互界面，用于输入查询指令和输出符合查询条件的统计数据。

12.根据权利要求11所述的Hadoop集群用户资源监控系统，其特征在于，所述统计模块接收所述查询指令，从所述查询指令中的查询条件中解析出所述统计参数，并将所述统计数据返回给所述交互界面。

13.根据权利要求11所述的Hadoop集群用户资源监控系统，其特征在于，还包括查询模块，其与所述交互界面相连接，接收所述查询指令，根据查询指令中的查询条件，从得到的统计数据中查询符合查询条件的统计数据，并将查询到的统计数据返回给所述的交互界面。

14.根据权利要求11所述的Hadoop集群用户资源监控系统，其特征在于，所述交互界面为web应用界面。