[发明专利]一种分布式系统中的资源调度方法及装置

说明书

本发明公开了一种分布式系统中的资源调度方法及装置，所述方法包括：对待处理任务资源建立通用计算模型；对所述待处理任务资源进行划分，并对划分后产生的子任务资源随机抽样获得子任务资源样本，获取子任务资源样本的占用资源量，依据所述子任务资源样本的占用资源量来预估任务资源需要占用的资源，同时实时获取服务器节点资源余量，然后根据预估结果对待处理任务资源和节点资源余量进行动态匹配，依据动态匹配后的结果将所述待处理任务资源分配给所述节点资源余量进行处理。该方法降低了各个任务资源等待处理的时间，达到了最大化合理利用服务器资源的目的。

技术领域

本发明涉及资源调度技术，更具体地，涉及一种分布式系统中的资源调度方法及装置。

背景技术

针对目前大量的多任务计算以及大规模复杂计算的需求，廉价的、高扩展的分布式集群技术已经成为标准解决方案，各数据中心和云平台已经部署了大量的分布式设备。如果要实现最大化合理利用这些分布式集群，资源调度是个很重要的课题，因为一个不好的资源调度方法会造成昂贵投入的硬件资源被浪费，以及任务执行等待时间过长，降低了用户体验。针对越来越多的分布式计算任务，必须设计高效的资源调度方法，进行自适应分析来高效分配任务资源，提高任务处理效率，缩短项目开发周期。

因此，如何提高分布式节点资源处理复杂任务的节点利用率和任务执行效率，实现最大化合理利用节点资源，是目前迫切需要解决的问题。

发明内容

本发明提供了一种分布式系统中的资源调度方法及装置，可以在有限的节点资源情况下，动态控制任务资源的调度，实现最大化合理利用节点资源。

为了解决上述问题，本发明公开了一种分布式系统中的资源调度方法，包括：

建立待处理任务资源的通用计算模型，方便后续对任务资源进行处理和管控。

对待处理任务资源进行多任务划分，并对划分后获得的子任务资源随机抽样获得子任务资源样本，计算所述子任务资源样本的哈希值，方便子任务资源处理完成后利用哈希值索引找到该子任务资源对应的计算结果。

将所述子任务资源样本运用数据映射聚合模型在分布式系统中的服务器节点上试运行，得到子任务资源样本的占用资源量和计算时间，将所耗计算时间大于所有所述子任务资源样本的计算时间的子任务资源样本，利用遗传算法或蚁群算法进行分治处理，用来提高服务器节点计算该任务资源的效率。同时依据所述通用计算模型和所述子任务资源样本的占用资源量预估所述待处理任务资源的占用资源量。

实时获取服务器节点资源余量，依据预估的所述待处理任务资源的占用资源量，对所述待处理任务资源和所述服务器节点资源余量依据阶梯型匹配原则进行动态匹配。阶梯型匹配原则就是按照占用资源量最大的待处理任务资源和剩余资源最多的服务器节点进行匹配，占用资源量最小的待处理任务资源和剩余资源最少的服务器节点进行匹配的原则，保证任务资源量小于节点资源量，而且节点资源的占用比达到最大。

依据动态匹配后的结果将所述待处理任务资源分配给所述节点资源余量进行处理，重复执行上述这些操作，直至所有任务资源被计算完成，然后根据任务资源的哈希值索引找到任务资源处理后的计算结果，将各任务资源的分片计算结果聚合得到最终的计算结果。

本发明还提供了一种分布式系统中的资源调度装置，包括：

资源建模仿真单元，用于建立待处理任务资源的通用计算模型。

任务资源抽样试运行单元，用于对所述待处理任务资源进行划分，并对划分后获得的子任务资源随机抽样获得子任务资源样本；采用数据映射聚合模型将所述子任务资源样本分配在所述服务器节点资源上试运行，获取所述子任务资源样本的占用资源量和计算时间，将所耗计算时间大于所有所述子任务资源样本的计算时间的子任务资源样本，利用遗传算法或蚁群算法进行分治处理；同时依据所述通用计算模型和所述子任务资源样本的占用资源量预估所述待处理任务资源的占用资源量。