[发明专利]一种基于大数据深度学习的动态资源调度方法

说明书

一种基于大数据深度学习的动态资源调度方法，通过利用大数据深度学习集群的资源监控模块，根据各节点资源利用率模型，周期性计算节点资源利用率，并采用基于大数据深度学习的资源调度算法，将大数据深度学习任务部署至最优节点，设置任务资源利用率警告阈值，实现对于是否进行动态迁移大数据深度学习任务的判断。相比于现有技术，该方法客观准确的反映了计算机资源的运行状态，合理部署计算机任务至最优节点，同时实现了对计算机任务的监控，动态迁移资源利用率低下的计算任务，提高了计算机资源利用率。

技术领域

本发明涉及一种基于大数据深度学习的动态资源调度方法,属于深度学习技术领域。

背景技术

随着计算机技术的迅速发展，其在大数据以及云计算技术领域的重要性日益突显。目前，大数据深度学习任务数据量庞大，计算任务众多，在快速响应用户请求的同时，需要将大数据深度学习任务调度至合理节点上执行以提高资源利用率，这需要强大的资源调度技术的支持。

当前，大数据深度学习任务资源调度策略主要是依赖底层的调度策略来进行的，调度策略的优化目标单一，不能客观准确的反映计算机资源的运行状态，导致计算机资源利用率低下。

发明内容

针对上述现有技术存在的问题，本发明提供一种基于大数据深度学习的动态资源调度方法，该方法能够客观准确的反映计算机资源的运行状态，合理部署计算机任务至最优节点，同时实现对计算机任务的监控，动态迁移资源利用率低下的计算任务，提高计算机资源利用率。

为了实现上述目的，本发明提供一种基于大数据深度学习的动态资源调度方法，包括以下步骤：

1)周期性计算资源的平均利用率：

利用大数据深度学习集群资源监控模块，根据各节点的资源利用率模型，在随机时间t内，按照时间T为一个周期采集各节点大数据深度学习任务的CPU、内存以及存储的利用量，计算得到各节点的平均资源利用率，其中CPU、内存以及存储的平均利用率分别记为：

Node_CPU_avg、Node_Mem_avg、Node_Storage_avg，

计算公式分别如下：

式中，T的取值范围为0.01～0.5s，N表示时间t内采集节点利用量的次数，N＝t/T，且N为向上取整的整数；Node_CPU_{util_i}为一次周期性采集中节点的CPU的利用量，Node_Mem_{util_i}为一次周期性采集中节点的内存的利用量，Node_Storage_{util_i}为一次周期性采集中节点的存储的利用量；Node_CPU为节点的CPU总量，Node_Mem为节点的内存总量，Node_Storage为节点的存储总量；

2)采用打分机制部署计算任务：

根据应用场景为节点CPU、内存以及存储设置对应权值，通过步骤1)中计算得到的CPU、内存以及存储的平均利用率计算得到各节点的服务利用率和节点CPU以及内存的均衡度后，执行打分机制得到节点的打分值Score，将大数据深度学习任务部署至分值最高的节点，其中Score值的计算公式如下：

Node_util＝(Node_CPU_avg*w1)*(Node_Mem_avg*w2)*(Node_Storage_avg*w3)

Node_bal＝|Node_CPU_avg-Node_Mem_avg|；