[发明专利]一种分布式系统中的资源调度方法及装置

权利要求书

1.一种分布式系统中的资源调度方法，其特征在于，包括以下步骤：

建立待处理任务资源的通用计算模型；

对所述待处理任务资源进行划分，并对划分后获得的子任务资源随机抽样，获得子任务资源样本，其中，每个所述子任务资源相互独立；

获取所述子任务资源样本的占用资源量，依据所述通用计算模型和所述子任务资源样本的占用资源量预估所述待处理任务资源的占用资源量；

获取服务器节点资源余量；

依据预估的所述待处理任务资源的占用资源量，对所述待处理任务资源和所述服务器节点资源余量依据阶梯性匹配原则进行动态匹配；

依据动态匹配后的结果将所述待处理任务资源分配给所述节点资源余量进行处理；

其中，通过所述通用计算模型计算所述待处理任务资源的占用资源量，具体包括：

有一组任务集S＝{S₁,S₂,S₃....S_n},任务集里的所有任务各自相互独立，其中S_i表示第i个子任务，通过一个多维元组定义一个子任务：S_i＝{SID_i，TAR_i，DeadLine_i，SL_i，TState_i，Svalue_i}，其中SID_i表示当前任务S_i的id号，TAR_i表示第i个任务的到达时间，DeadLine_i表示第i个任务的计算完成时间，SL_i表示第i个任务的计算工作量，TState_i，表示任务S_i的当前状态，即等待、挂起、执行和完成状态，Svalue_i表示任务S_i完成处理后的结果；待处理任务资源的节点计算模型用来预估该任务资源占用的节点资源量，便于后续据此进行多任务划分；

定义P_ij表示节点资源余量占总的节点资源量的比重，即资源余量比：

其中，stend_ij表示任务S_i的预估计算时间与实际计算时间的比例，SL_i表示第i个任务的计算工作量，Hptask表示在S_i执行过程中到达并抢占当前节点的优先级相对更高的任务，∑e_ij为处于执行状态下各个子任务所耗线程资源的集合，PtdAll为运行节点在该任务处理起止时间段所能服务的最大任务资源量，在后续对划分后的任务抽样试运行期间，得到每次样本处理结束后的资源余量比P_ij，然后对其进行t检验，当每组检验后的P_ij值大于0.05，说明假设成立，然后取P_ij与该任务处理时间轴形成的闪点图的中心坐标点，该点纵坐标的值为处理该任务最稳定的资源余量比。

2.如权利要求1所述的一种分布式系统中的资源调度方法，其特征在于，获取所述子任务资源样本的占用资源量包括以下步骤：

将所述子任务资源样本采用数据映射聚合模型分配在所述服务器节点资源上试运行，根据试运行的结果获取所述子任务资源样本的占用资源量。

3.如权利要求1所述的一种分布式系统中的资源调度方法，其特征在于，在对所述待处理任务资源进行划分，并对划分后获得的子任务资源随机抽样获得子任务资源样本之后，还包括以下步骤：

获取所有的所述子任务资源样本的计算时间，当子任务资源样本的所耗计算时间大于所有子任务资源样本的计算时间的平均值时，利用遗传算法或蚁群算法对所述子任务资源样本对应的子任务资源进行分治处理。

4.如权利要求1所述的一种分布式系统中的资源调度方法，其特征在于，所述依据动态匹配后的结果将所述待处理任务资源分配给所述节点资源余量进行处理之后，还包括以下步骤：

当所有待处理任务资源被计算完成时，根据所有的所述子任务资源的哈希值索引找到各个子任务资源处理后的分片计算结果，将所述子任务资源的分片计算结果聚合得到所述待处理任务资源的计算结果。