[发明专利]数据分片的资源征用调度方法

摘要

本发明涉及数据分片的资源征用调度方法，包括：A.确定数据可切分的最大可能数据分片数；B.生成预调度资源集合；C.确定各个数据分片分配到预调度资源节点上的调度时间；D.计算任务最终完成时间；E.得到完成时间和数据分片比例系数；F.获取数值最大的比例系数，得到数据分片的实际分片大小；G.根据剩余数据量或剩余可切分片数进行迭代并完成数据分片；H.根据预切分系数和实际和切分粒度，得到最终的数据分片大小及相应的资源调度策略。本发明能够在资源征用调度中充分利用可用资源节点的性能，采用合理的数据分片策略，为各个数据分片征用合理的资源节点进行数据处理，使得任务总体完成时间最短，有效的提高了任务的执行效率。

主权项

数据分片的资源征用调度方法，其特征包括：A.确定任务Ti可切分的最大可能数据分片数DNi：其中i为任务数，Di为任务Ti所要处理的数据量，MSi为任务Ti的数据的最小可切分粒度；B.对可调用资源进行筛选，在n个资源节点中选取m个资源加入到预调度集合中，其中m＝DNi；C.根据预分片比例系数λj'，确定各数据分片分配到预调度集合中的各预调度资源节点上的调度时间FFTij；D.根据任务Ti的各数据分片在各资源节点上完成时间的最大值计算任务Ti的最终完成时间TFTi；E.通过任务Ti的最终完成时间TFTi计算得到任务Ti的完成时间FFi和任务Ti的数据分片比例系数λj；F.二次分片：获取数据分片比例系数λj中数值最大的比例系数λk，得到任务Ti的数据分片Sik的实际分片大小Dik*；G.剩余数据量为Di*＝Di*‑Dik*，剩余可切分片数为m为原分片数，计算后若Di*＝0或m*＝0，则完成数据分片，并将其余预分片的大小置0，否则将所述的最大的比例系数λk置0，返回步骤F重复执行；H.完成数据分片后得到任务Ti的实际分片策略Si*＝{Si1*,Si2*,…,Sij*,…,Sim*}，其中数据分片Sij*的大小为Dij*，计算得到每一个Dij*的值，若Dij*≠0，则对应将大小为Dij*的数据分片Sij*分配到资源节点Rj上进行数据处理，若Dij*＝0，则数据分片Sij*为空，不分配资源，其中j＝1…m。