[发明专利]一种基于深度学习神经网络的大规模资源调度系统及方法

权利要求书

1.一种基于深度学习神经网络的大规模资源调度方法，采用基于深度学习神经网络的大规模资源调度系统，其特征在于：所述系统包括至少一个调度控制模块和至少两个执行模块；所述调度控制模块用于接收用户请求，分配调度资源，并行计算状态反馈；所述执行模块用于接收调度控制模块发送的任务请求，开辟内存空间进行计算；

所述调度控制模块包括调度池、调度器、调度任务模块、回调并行计算模块、调度日志模块；所述调度池用于存储线程资源；所述调度器用于根据用户的输入请求，将任务分割成若干个子任务，根据请求中获取的信息选择任务调度机制，完成分布式资源调度；所述调度任务模块用于记录任务的执行状态及结果；所述回调并行计算模块负责各执行模块之间建立通讯，实时接收执行模块的运行状态，运行状态包括：资源占有率，任务执行程度；所述调度日志模块用于保存调度日志及执行日志，并能查看和修改；

所述方法包括以下步骤：

步骤1：用户配置任务请求；

步骤2：调度控制模块接收到用户任务请求信息，判断任务所调度应用的类型；根据用户的服务请求，利用深度学习神经网络进行预测分析资源的需求量，并判断处理后的可能结果是否符合用户的需求；

如果预测结果不符合用户需求，重新进行资源需求量的分析，并考虑应用性能，物理节点个数的分配，直到得到满足用户需求的预测分析结果；

如果预测结果符合用户需求，将分析结果发布给调度控制模块的调度器；

其中所述利用深度学习神经网络进行预测分析资源的需求量，具体实施过程包括以下子步骤：

步骤2.1：用户输入任务组、任务描述、计划完成时间、工作处理程序、报警信息、任务负责人以及计划完成预期结果，将此任务提交给调度控制模块；

步骤2.2：调度控制模块中的调度器接收到任务请求信息后，开始启动深度神经网络预测功能；

步骤2.3：根据用户输入的信息参数，构建成一个分布式的数据集；采用自适应学习速率方法进行自动调整学习速率；

学习速率公式为：

其中，ε_i,k为第i个结点在第k次迭代时的学习速率，δ为第i个结点的常数，ω_i为第i个结点的自适应学习效率梯度值；

步骤2.4：深度神经网络自适应模拟训练；每次有任务信息输入时，网络采样一个随机结构；

步骤2.5：调度器根据学习预测分析结果的资源配置情况，向调度池请求线程资源；同时利用深度神经网络的自学习状态模拟任务请求的执行度，从而得出该资源的配置是否能满足用户的请求；

如果不能达到用户的预期值，返回步骤2.4，重新调整参数配置进行模拟，直至达到用户满意的结果；如果达到用户的预期值，进入到步骤2.6；

步骤2.6：经过深度神经网络的学习模拟预测，初步判定符合用户的预期满意值，准备执行任务资源调度；

步骤2.7：调度任务模块接收来自执行模块的资源使用情况，由调度任务模块中的任务调度策略分割任务，并统筹执行任务资源调度；

步骤2.8：通过线程资源向执行模块发起调度请求；执行模块根据调度请求进行对应的业务逻辑计算，并在计算过程中向调度控制模块的调度任务模块反馈任务执行状态及过程结果；同时通过回调并行计算模块完成各个执行模块之间的通讯；

步骤2.9：回调并行计算模块接收到各个执行模块当前的任务处理状态，以及执行模块发送的任务迁移请求，向调度任务模块发出反馈信息；调度任务模块判断出各个执行模块是否过载或低载，并将分析结果提交给调度器，由调度器根据任务调度策略进行任务的迁移；

步骤2.10：创建多个执行模块并行化进行数据处理，且每个执行模块由多个数据分片组成；各执行模块计算后，将数据处理结果传递给调度任务模块数据集，并向调度任务模块申请新的执行任务；

步骤3：调度器根据预测的结果以及虚拟资源的适用情况，分割用户任务；同时执行模块将本模块的资源情况发送给调度控制模块的回调并行计算模块；调度器综合评估任务及执行模块之间的匹配，当执行模块无法保证该任务的完成质量时，则通过深度神经网络预测出执行模块的处理能力和预判出对该任务的迁移，选择合适的执行器进行计算；

步骤4：回调并行计算模块接收到各个执行模块的任务处理情况以及资源的使用情况，判断出各个执行模块是否过载或低载，并将分析结果提交给调度器，由调度器根据任务调度策略进行任务的迁移。