[发明专利]一种基于负载预测的Hadoop计算任务初始分配方法

说明书

本发明提出一种基于负载预测的Hadoop计算任务初始分配方法，包括：使用延迟调度策略的AppMaster选择方法，开启AppMaster；基于BP神经网络的节点，计算资源分配数量；使用DRF算法的用户队列和用户作业选择方法，开启子任务；本发明基于延迟调度策略的AppMaster选择算法，提高了AppMaster运行时的稳定性，保证了作业的正常运行。基于BP神经网络的节点计算资源分配算法，减少高负载标签计算节点分配的任务量，增加低负载标签计算节点分配的任务量，提高了集群整体的稳定性和性能。基于DRF的用户队列和用户作业选择算法，当作业所属的队列资源不够时，根据占主导地位的计算资源使用情况来选择叶子队列和用户作业，最终达到合理化计算任务初始分配，均衡集群负载，提高集群性能的目标。

技术领域

本发明涉本发明涉及分布式、大数据、云计算领域，具体涉及一种基于负载预测的Hadoop计算任务初始分配方法。

背景技术

目前，Hadoop平台中计算任务的初始分配由Yarn来完成，在Yarn框架下，有三个重要的角色，分别为资源管理器(ResourceManager)，节点管理器(NodeManager)和应用程序控制器(AppMaster)。

资源管理器负责整个集群的计算资源调度，资源管理器会追踪集群中有多少可用的活动节点和资源，协调用户提交的应用程序分配这些计算资源。

节点管理器作为资源管理器在各个计算节点上的代理，负责计算节点上计算资源向资源管理器的汇报，计算节点上计算任务的开启，计算节点的监控，节点管理器拥有许多动态创建的资源容器，容器的大小取决于它所包含的资源量内存和CPU核数。

应用程序控制器负责向资源管理器申请需要的计算资源和实时追踪用户作业的运行情况，当用户提交作业后，应用程序控制器会先于计算任务开启，随后会向资源管理器申请开启子任务需要的计算资源，申请后会通过节点管理器开启对应的计算任务，计算任务开启后，应用程序控制器开启后会实时检测计算任务的执行情况，包括对迟滞任务开启子任务，对失败任务重新开启等。

当用户提交作业时，Hadoop集群会为该作业先运行AppMaster，AppMaser会向资源管理器申请计算资源并且开启对应的子任务，这便是计算任务的初始分配。合理化计算任务的初始分配可以优化Hadoop平台，均衡集群负载，提高集群性能和稳定性。当前的Hadoop平台在分配计算任务时只考虑了内存和CPU核数两种计算资源，当计算节点的内存与CPU核数满足计算任务的需求时即可在该计算节点上开启计算任务，并没有实时根据计算节点的负载来控制计算节点上计算任务的分配量，这会导致集群的负载不均衡，集群整体性能和稳定性降低，延长了用户作业的完成时间。

发明内容

基于以上技术问题，本发明所述的一种基于负载预测的Hadoop计算任务初始分配方法，具体包括三部分：基于延迟调度策略的AppMaster选择算法部分，基于BP神经网络的计算资源分配算法部分，基于DRF的用户队列和用户作业选择算法部分。基于延迟调度策略的AppMaster选择算法，借助延迟调度的思想为作业选择AppMaster失效率低的计算节点进行AppMster的开启，保证AppMster运行正常，从而保证整个作业的稳定运行。基于BP神经网络的计算资源分配算法，资源管理器根据计算节点的负载动态调整计算节点分配的计算资源量。基于DRF的用户队列和用户作业选择算法，当作业所属的队列资源不够时，作业对应的AppMaster会等待计算资源的分配，当计算节点向资源管理器汇报空闲的container时，会DRF算法选择合适的叶子队列和用户作业进行container的分配。

一种基于负载预测的Hadoop计算任务初始分配方法，具体包括如下步骤：

步骤1：使用延迟调度策略的AppMaster选择方法，开启AppMaster，具体包括：

步骤1.1：资源管理器接收用户作业提交，并初始化节点数量α₁＝0；