[发明专利]数据分片的资源征用调度方法

说明书

本发明涉及数据分片的资源征用调度方法，包括：A.确定数据可切分的最大可能数据分片数；B.生成预调度资源集合；C.确定各个数据分片分配到预调度资源节点上的调度时间；D.计算任务最终完成时间；E.得到完成时间和数据分片比例系数；F.获取数值最大的比例系数，得到数据分片的实际分片大小；G.根据剩余数据量或剩余可切分片数进行迭代并完成数据分片；H.根据预切分系数和实际和切分粒度，得到最终的数据分片大小及相应的资源调度策略。本发明能够在资源征用调度中充分利用可用资源节点的性能，采用合理的数据分片策略，为各个数据分片征用合理的资源节点进行数据处理，使得任务总体完成时间最短，有效的提高了任务的执行效率。

技术领域

本发明涉及计算机数据处理的方法，具体讲是数据分片的资源征用调度方法。

背景技术

由于云计算系统的多元化和资源共享性，且其用户群体非常庞大，云环境中同一时刻需要处理的任务数量和数据量也极为庞大，所以对云环境中的资源和任务进行合理和高效的调度，保证用户的服务质量、提高用户的任务执行效率以及资源的使用效率，是云计算技术研究中的重点和难点。云计算系统中的物理资源节点是异构的，节点状态会随着资源的调用情况动态变化，系统中的资源不断地被调用和释放，也有新的资源会随着系统的变化或者任务的需求被加入到当前的云系统中来，再加上不同应用场景下的任务调度有着不同的特点，导致云环境中的调度算法的复杂度极高。因此，针对具体的应用场景，根据相应场景的特点来制定有效的任务调度策略，在任务节点和资源节点间建立合理的映射，可以缩短任务的执行时间，提高任务的执行效率。

近年来，随时云计算技术的深入发展，以及商业服务模式的应用普及，许多学者和研究人员对云环境下的任务调度算法做了大量的研究。经过整理和归纳，云环境下任务调度研究的问题主要包括：关注任务调度算法的执行效率问题、关注云计算环境下任务调度的服务质量控制问题以及关注云服务提供商的经济效益问题。这些任务调度算法概括起来主要有以下几类：(1)启发式任务调度算法：这类启发式的任务调度算法主要有粒子群算法、蚁群算法、引力搜索算法、遗传算法等等。这类调度算法可在调度过程中根据资源状态的变化将任务映射到合适的资源上来完成资源的分配和任务的执行。这类算法思想的基础上，很多研究做出了许多研究和改进来提高算法的性能和相应场景下的适用性。(2)基于QoS目标约束条件的调度算法：这类算法尽可能的满足用户任务调度的服务质量，考虑任务调度时的截止时间、调度预算、可靠性和安全性等作为调度的约束条件，以符合用户选择资源时的偏好要求。(3)基于云服务提供商收益的调度算法：这类算法是从云服务提供商的角度来考虑调度问题，在保障任务调度完成的前提下，最大可能的利用资源，或者减少资源消耗，从而提高供应商的效益。

进行任务调度时，将任务节点映射到资源节点的过程中，调度的效果跟调度的计算成本和通信成本密切相关。对于云用户而言，将任务提交给云平台后希望能够在较短的时间内得到响应，云提供商则需要利用有限的资源提供更好的服务质量，因此从用户和提供商的不同角度，任务的响应时间是任务调度的一个重要的指标。在数据处理类业务中，为了缩短任务的处理时间，并充分利用系统中闲置的资源，常用的方法是将任务关联的数据进行分片，分发给多个空闲资源节点来执行。但在数据分片的过程中，没有很好的调度策略来解决如何分片的问题，即将数据分片多少片，每片多少数据量，分片后与哪个资源节点匹配的方法。由于现有的数据分片常用方法是对所要处理的数据进行平均分片，根据可用资源的个数，将任务关联的数据进行平均分片后分配到每个资源节点上来执行，这种方法在执行时，由于各个资源接点间的性能差异，会导致各个数据分片完成数据处理的时间差异较大，从而完成任务处理的总体时间会较长，任务处理效率较低。

发明内容

本发明提供了一种数据分片的资源征用调度方法，以能够在对大数据进行合理分片并进行资源征用，并且可以充分利用空闲可用资源进行数据处理。

本发明的数据分片的资源征用调度方法，包括：