[发明专利]一种基于深度强化学习和异构Spark集群的节能调度方法及系统

说明书

本发明属于强化学习和大数据处理领域，具体涉及一种基于深度强化学习和异构Spark集群的节能调度方法及系统；该方法包括：实时获取Spark集群上真实负载下的在线数据信息，将数据信息输入到训练好的Q网络，Q网络对数据信息进行能耗‑时间目标预测，系统根据能耗‑时间目标预测选择能耗‑时间目标最低的方案进行资源分配；本发明考虑到集群异构导致能耗不同从而带来的资源优先分配问题，在保证满足用户响应时间情况下寻找最低能耗‑时间目标，并根据最低能耗‑时间目标进行资源调度，能针对能耗目标或者多种SLA目标进行优化并尽可能的节能减排，对通过此方法来达到平衡云服务提供商成本和用户之间响应时间有重要意义，具有良好的经济效益。

技术领域

本发明属于强化学习和大数据处理领域，具体涉及一种基于深度强化学习和异构Spark集群的节能调度方法及系统。

背景技术

分布式大数据处理框架Spark已经被广泛运用于研究和行业的分析工作，它将中间结果存储在内存中加快处理速度，具有比其他框架更高的扩展性，适合运行各种复杂的分析任务；并且云计算提供了更便宜并且更加易于管理的计算资源，许多企业正转向云部署大数据计算集群，高效地利用计算集群对企业来说很重要，即使在利用率上的微小改进也可以大规模地避免千万资金的浪费，一个好的集群调度程序的实现是避免这些浪费的关键。

因此对Spark作业运行调度机制中产生的能耗进行节能优化是非常有必要的。当Spark集群部署后，Spark的任务调度器调度过程可简单抽象为，调度器为作业分配资源块executor，其中里面包括cpu，内存等物理资源。现有的Spark默认采用简单的启发式算法FIFO和Fair进行调度，以分布式的方式创建executor，目的是均衡的使用集群并且考虑到使用的通用性，但现有的Spark并没有考虑到集群异构导致能耗不同从而带来的资源优先分配问题。所以，Spark默认的调度策略无法针对具体的SLA目标进行调度优化。

综上所述，找到一种能提高spark集群环境下资源利用率，在保证满足用户响应时间情况下，能针对能耗目标或者多种SLA目标进行优化并尽可能的节能减排的方法，对通过此方法来达到平衡云服务提供商(CSP)成本和用户之间响应时间有重要意义。

发明内容

针对现有技术存在的不足，本发明提出了一种基于深度强化学习和异构Spark集群的节能调度方法，该方法包括：实时获取在线数据信息，将数据信息输入到训练好的Q网络，Q网络对数据信息进行能耗-时间目标预测，系统根据能耗-时间目标预测选择能耗-时间目标最低的方案进行资源分配；

对Q网络的训练过程为：

S1：获取作业运行的相关配置参数和执行参数；初始化DQN参数；其中，DQN表示Deep Q-Network即Q网络；

S2：根据获取的相关配置参数计算权重系数；

S3：根据DQN参数生成ε-Greedy与Boltzmann联合策略；

S4：任务调度器根据ε-Greedy与Boltzmann联合策略对工作节点进行任务调度；

S5：根据权重系数和执行参数构建能耗-时间模型；根据任务调度和能耗-时间模型构建奖励模型，根据奖励模型生成奖励值；

S6：根据奖励值对DQN参数进行更新，得到更新后的DQN参数；

S7：重复执行步骤S3-S6，当能耗-时间目标收敛时，完成训练。

优选的，作业运行的相关配置参数包括：执行器数量、cpu资源和内存资源；作业运行的执行参数包括：作业到达时间、作业标识、作业完成时间和作业持续时间。

优选的，ε-Greedy与Boltzmann联合策略为：