[发明专利]一种基于深度学习神经网络的大规模资源调度系统及方法

说明书

本发明公开了一种基于深度学习神经网络的大规模资源调度系统及方法，系统包括至少一个调度控制模块和至少两个执行模块；调度控制模块用于接收用户请求，分配调度资源，并行计算状态反馈；执行模块用于接收调度控制模块发送的任务请求，开辟内存空间进行计算。本发明提供用户任务请求界面，调度器接收到提交的任务请求信息，通过深度学习神经网络对任务进行预测判定是否满足用户对任务完成情况的预期，从而确定资源调度策略的初始化参数。调度器根据资源调度策略进行任务的分割并分配给执行模块完成计算。执行模块对任务进行计算整理的同时将资源信息反馈给调度控制模块统一完成用户任务。

技术领域

本发明属于资源调度技术领域，涉及一种基于深度学习神经网络的大规模资源调度系统及方法。

背景技术

随着互联网技术的发展，资源调度技术日渐成熟，现有的资源调度程序一般是根据对资源池资源负载的动态监控合理出发资源调度规则，实现资源池中物理服务器之间重新分布虚拟机。当待分配的资源过大，远远超出了资源调度规则的范围，可能会导致资源调度的不合理，甚至是资源调度的失败。

目前，现在使用的大规模资源调度方法大致有以下几种：

一种是采用集群式的方式对深度神经网络进行分布式训练进而进行分布式资源调度，该资源调度模式缺乏集中管理功能；另一种是利用GPU对神经网络的学习过程进行加速处理，但此类方法对硬件的要求较高且不易扩展，主要应用于中、小规模的资源调度。

发明内容：

为了解决上述技术问题，本发明提出了一种基于深度神经网络的大规模资源调度系统及方法，利用深度神经网络的并行特点将训练模型以分布式形式处理数据集，动态执行资源调度，有效地解决了现有大规模资源调度方式缺少分布式并行执行功能的问题。

本发明的系统所采用的技术方案是：一种基于深度学习神经网络的大规模资源调度系统，其特征在于：包括至少一个调度控制模块和至少两个执行模块；所述调度控制模块用于接收用户请求，分配调度资源，并行计算状态反馈；所述执行模块用于接收调度控制模块发送的任务请求，开辟内存空间进行计算。

本发明的方法所采用的技术方案是：一种基于深度学习神经网络的大规模资源调度方法，其特征在于，包括以下步骤：

步骤1：用户配置任务请求；

步骤2：调度控制模块接收到用户任务请求信息，判断任务所调度应用的类型；根据用户的服务请求，利用深度学习神经网络进行预测分析资源的需求量，并判断处理后的可能结果是否符合用户的需求；

如果预测结果不符合用户需求，重新进行资源需求量的分析，并考虑应用性能，物理节点个数的分配，直到得到满足用户需求的预测分析结果；

如果预测结果符合用户需求，将分析结果发布给调度控制模块的调度器；

步骤3：调度器根据预测的结果以及虚拟资源的适用情况，分割用户任务；同时执行模块将本模块的资源情况发送给调度控制模块的回调并行计算模块；调度器综合评估任务及执行模块之间的匹配，当执行模块无法保证该任务的完成质量时，则通过深度神经网络预测出执行模块的处理能力和预判出对该任务的迁移，选择合适的执行器进行计算；

步骤4：回调并行计算模块接收到各个执行模块的任务处理情况以及资源的使用情况，判断出各个执行模块是否过载或低载，并将分析结果提交给调度器，由调度器根据任务调度策略进行任务的迁移。

随着互联网技术的发展，资源调度技术日渐成熟，现有的资源调度程序一般是根据对资源池资源负载的动态监控合理出发资源调度规则，实现资源池中物理服务器之间重新分布虚拟机。当待分配的资源过大，远远超出了资源调度规则的范围，可能会导致资源调度的不合理，甚至是资源调度的失败。

目前，现在使用的大规模资源调度方法大致有以下几种：