[发明专利]一种基于负载预测的Hadoop计算任务初始分配方法

摘要

本发明提出一种基于负载预测的Hadoop计算任务初始分配方法，包括：使用延迟调度策略的AppMaster选择方法，开启AppMaster；基于BP神经网络的节点，计算资源分配数量；使用DRF算法的用户队列和用户作业选择方法，开启子任务；本发明基于延迟调度策略的AppMaster选择算法，提高了AppMaster运行时的稳定性，保证了作业的正常运行。基于BP神经网络的节点计算资源分配算法，减少高负载标签计算节点分配的任务量，增加低负载标签计算节点分配的任务量，提高了集群整体的稳定性和性能。基于DRF的用户队列和用户作业选择算法，当作业所属的队列资源不够时，根据占主导地位的计算资源使用情况来选择叶子队列和用户作业，最终达到合理化计算任务初始分配，均衡集群负载，提高集群性能的目标。

主权项

1.一种基于负载预测的Hadoop计算任务初始分配方法，其特征在于，具体步骤如下：步骤1：使用延迟调度策略的AppMaster选择方法，开启AppMaster，具体包括：步骤1.1：资源管理器接收用户作业提交，并初始化节点数量α₁＝0；步骤1.2：判断α₁与阈值α大小关系，当α₁≥α时，在当前计算节点上开启AppMaster；当α₁＜α时，通过公式(1)衡量计算节点i运行AppMaster的失效率其中，代表第i个计算节点在历史日志中运行的AppMaster总数，代表第i个计算节点历史日志中失败AppMaster数量；步骤1.3：判断失效率与阈值σ的大小关系，若则直接在该计算节点上开启AppMaster；若则跳过本次节点，α₁加1，返回步骤1.1；步骤2：基于BP神经网络的节点，计算资源分配数量；步骤3：使用DRF算法的用户队列和用户作业选择方法，开启子任务。