[发明专利]集群的调度模型构建方法、调度模型、调度方法及系统

权利要求书

1.集群的调度模型构建方法，其特征在于用于实现大数据集群资源弹性伸缩的调度，包括如下步骤：

通过实际集资源调度收集最优调整点数的样本数据，所述样本数据包括大数据集群规格、集群负载、期望集群调整后负载以及最优调节节点数；

对所述样本数据进行归一化处理，得到预处理后样本数据；

基于反向传播的深度神经网络构建预测模型，所述预测模型以大数据集群规格、集群负载以及期望集群调整负载输入、以最优调节节点数为输出；

基于所述预处理后样本数据对所述预测模型进行训练，并根据所述预测模型输出的预测值与样本数据的实际值之间的误差，基于反向传播法对所述预测模型每层神经元权值进行调整，得到训练后预测模型。

2.根据权利要求1所述的集群的调度模型构建方法，其特征在于所述大数据集群规格包括：

集群节点数据，所述集群节点数据为大数据集群中YARN节点数量；

CPU，每个YARN节点的CPU核数一致，且要进行调整的节点CPU核数一致；

内存，每个YARN节点的内存大小一致，且进行调整的节点内存大小一致；

所述集群负载包括：

平均任务等待比例，每个YARN节点的平均任务等待比例计算公式为：

其中，p为每个YARN节点挂起的任务数，r为每个YARN节点的运行中的任务数，n为YARN节点的总数，E为计算后的平均任务等待比例；

平均期望任务等待比例，所述平均期望任务等待比例为期望集群处于的平均任务等待比例；

平均期望任务等待比例小于平均任务等待比例时，扩容YARN节点，反之则缩容YARN节点，对应的参数作为最优调节节点数，表示YARN节点调整的数量。

3.根据权利要求1所述的集群的调度模型构建方法，其特征在于基于所述预处理后样本数据对所述预测模型进行训练时，输入为训练样本[x₁,x₂,…,x_n]，输出为Y_h＝f(a_h)，其中a_h是对上一输入层节点进行加权求和计算，w_ih为第i个输入参数和第h个隐藏层之间的权重值，其中f是激活函数：

4.根据权利要求1所述的集群的调度模型构建方法，其特征在于根据所述预测模型输出的预测值与样本数据的实际值之间的误差，基于反向传播法对所述预测模型每层神经元权值进行调整，包括如下步骤：

判断预测模型输出的预测值与样本数据的实际值之间的误差是否满足要求，M个样本的误差为：

其中t_n表示第n个训练样本输出，y_n表示第n个样本对应的实际输出；

计算误差E^M，当误差E^M小于设置的误差阈值时保存所述预测模型，反之对每层神经元权值进行调整：

对神经元权重进行调整，包括如下步骤：

隐藏层到输出层权值更新：

其中，是更新后权值，t_j是第j个样本的的输出值，y_j是第j个样本的的实际值，是隐藏层的值，M是样本总数，η是学习率这里设为0.6，w_ih是隐藏层和输出值之间的权值；

输入层到隐藏层权值更新：

其中，是更新后权值，t_j是第j个样本的的输出值，y_j是第j个样本的的实际值，是隐藏层的值，M是样本总数，η是学习率这里设为0.6，w_kh是输入层和隐藏层之间的权值，w_h是隐藏层和输出层之间的权值。

5.集群的调度模型，其特征在于为通过如权利要求1-4任一项所述的集群的调度模型构建方法获得的训练后预测模型，所述训练后预测模型包括输入层、隐藏层和输出层，用于以大数据集群规格、集群负载、期望集群调整后负载为输入，预测并输出最优调节节点数。