[发明专利]一种基于大数据深度学习的动态资源调度方法

权利要求书

1.一种基于大数据深度学习的动态资源调度方法，其特征在于，包括以下步骤：

1)周期性计算资源的平均利用率：

利用大数据深度学习集群资源监控模块，根据各节点的资源利用率模型，在随机时间t内，按照时间T为一个周期采集各节点大数据深度学习任务的CPU、内存以及存储的利用量，计算得到各节点的平均资源利用率，其中CPU、内存以及存储的平均利用率分别记为：

Node_CPU_avg、Node_Mem_avg、Node_Storage_avg，

计算公式分别如下：

式中，T的取值范围为0.01～0.5s，N表示时间t内采集节点利用量的次数，N＝t/T，且N为向上取整的整数；Node_CPU_{util_i}为一次周期性采集中节点的CPU的利用量，Node_Mem_{util_i}为一次周期性采集中节点的内存的利用量，Node_Storage_{util_i}为一次周期性采集中节点的存储的利用量；Node_CPU为节点的CPU总量，Node_Memm为节点的内存总量，Node_Storage为节点的存储总量；

2)采用打分机制部署计算任务：

根据应用场景为节点CPU、内存以及存储设置对应权值，通过步骤1)中计算得到的CPU、内存以及存储的平均利用率计算得到各节点的服务利用率和节点CPU以及内存的均衡度后，执行打分机制得到节点的打分值Score，将大数据深度学习任务部署至分值最高的节点，其中Score值的计算公式如下：

Node_util＝(Node_CPU_avg*w1)*(Node_Mem_avg*w2)*(Node_Storage_avg*w3)

Node_bal＝|Node-CPU_avg-Node_Mem_avg|；

Score＝10-(Node_util*w4+Node_bal*w5)*10；

式中，Node_util为节点的服务利用率，w1、w2、w3分别为节点CPU、内存及存储的对应权值，由用户根据场景进行设置，三者相加之和为1；Node_bal为节点CPU及内存的均衡度；Score为节点的打分值；w4、w5分别为节点资源利用率及节点均衡度的对应权值，由用户根据场景进行设置，二者相加之和为1；

3)动态迁移大数据深度学习任务：

设置大数据深度学习任务资源利用率警告阈值，在随机时间t内，按照时间T为一个周期来采集步骤2)中部署的大数据深度学习任务的CPU、内存以及存储的利用量，计算得到大数据深度学习任务平均资源利用率，通过平均资源利用率加权计算得到大数据深度学习任务的服务利用率，通过比较任务资源利用率警告阈值与深度学习任务的服务利用率Task_util的大小，动态迁移大数据深度学习任务，即当大数据深度学习任务的服务利用率Task_util大于任务资源利用率警告阈值时，通过副本形式将该深度学习任务迁移至其他较优节点，之后删除原节点中的大数据深度学习任务，Task_util值的计算公式如下：

Task_util＝(Task_CPU_avg*w6)*(Task_Mem_avg*w7)*(Task_Storage_avg*w8)；

式中，N表示时间t内采集节点利用量的次数，N＝t/T，且N为向上取整的整数；Task_CPU_avg为计算任务的CPU平均利用率，Task_Mem_avg为深度学习任务的内存平均利用率，Task_Storage_avg为深度学习任务的存储平均利用率，Task_util为深度学习任务的服务利用率，w6、w7、w8分别为计算任务的CPU、内存及存储的对应权值，由用户根据深度学习任务类型进行设置，且三者相加之和为1。