[发明专利]Hadoop集群用户资源监控方法和系统

说明书

本公开涉及一种Hadoop集群用户资源监控方法和系统，其中，所述方法包括：从Hadoop集群的主、备节点采集用户的作业日志信息；从用户的作业日志信息中按照设定的数据参数提取出对应的有用数据；以及根据统计参数统计所述有用数据，得到与其对应的统计数据。本公开能够实时监控集群内每个用户的资源使用情况，使集群管理者能够准确掌握每个用户对资源的使用情况，并根据用户对资源的使用情况，更加合理地为用户分配可利用资源，从而能够更加合理地调整集群资源，为集群是否需要扩容及如何扩容提供依据。

技术领域

本公开涉及Hadoop集群资源管理技术领域，具体地，涉及一种Hadoop集群用户资源监控方法和系统。

背景技术

当前对Hadoop集群的需求越来越广泛，Hadoop集群多用户的租用更加普遍，由分层架构的Yarn来完成的多用户任务下的合理的资源调度显得尤为重要。Yarn的系统框架中有两个重要的组件：一个是Resourcemanager(简称RM)，负责任务的资源调度管理；另一个是与用户的应用任务形成一对一模式的Applicationmaster(简称AM)，负责申请资源并监控任务运行状况。

在RM中，调度器Scheduler的调度模式可以使用官方提供的FIFO先进先出模式、Capacity队列模式、或者Fairshare灵活平分资源模式，也可以自定义调度规则。其中，Capacity队列模式和Fairshare灵活平分资源都是采用队列的模式，内部依然按照FIFO原则，其同级队列在遵守按比例分配的原则下，可以互相使用空闲资源。

对于一个Hadoop集群的集群管理者，他除了关心资源的隔离调度使用外，还比较关心每个用户到底使用了多少资源，以便根据用户资源使用情况制定相应的资源分配策略，或者根据用户资源实际使用情况升级集群，然而目前还没有任何技术方案来满足这方面的需求。

发明内容

本公开的目的是提供一种Hadoop集群用户资源监控方法和系统，用于监控单个用户的资源使用情况。

为了实现上述目的，本公开提供一种Hadoop集群用户资源监控方法，其中，包括以下步骤：

从Hadoop集群的主、备节点采集用户的作业日志信息；

从用户的作业日志信息中按照设定的数据参数提取出对应的有用数据；以及

根据统计参数统计所述有用数据，得到与其对应的统计数据。

可选地，所述有用数据包括用户数据、作业数据和资源数据。

可选地，所述方法中的所述统计参数分别为用户身份标识、作业标识、作业运行时间、总作业量、单位时间提交作业量、总作业量对应的总运行时间、使用资源量、总作业量对应的总使用资源量、占用资源量、总作业量对应的总占用资源量、被抢占资源量和总作业量对应的总被抢占资源量中的一种或多种；

对应地，所述用户数据为用户名；

所述作业数据为作业标识和每个作业的运行时间；

所述资源数据为每个作业的使用资源量、每个作业的占用资源量和每个作业的被抢占资源量。

可选地，所述的Hadoop集群用户资源监控方法还包括：

对所述统计数据按照预置排序参数排序。

可选地，所述的Hadoop集群用户资源监控方法还包括：

接收查询指令，根据查询指令中的查询条件，从得到的统计数据中查询符合查询条件的统计数据。

可选地，所述的Hadoop集群用户资源监控方法还包括：在接收到查询指令时，从所述查询指令中的查询条件中解析出所述统计参数。