[发明专利]采用多种群协同进化遗传算法的云工作流调度优化方法

权利要求书

1.一种采用多种群协同进化遗传算法的云工作流调度优化方法，其特征在于：包括以下步骤：

步骤1：形式化调度问题，获取调度优化所需的信息；

获取任务集T＝{t₁,t₂,…,t_I}，其中I是任务的数量，t_i表示任务i，即编号为i的任务；

获取任务间的时序关系：任务i的父任务集PR_i，任务i的子任务集SC_i，其中i＝1,2…,I；

获取任务相关参数：任务i的长度t_i.length，即任务i被虚拟机处理时需要耗费的指令数量，处理任务i时需要的输入文件列表t_i.IFL，任务i被处理后产生的输出文件列表t_i.OFL，及文件列表中文件file的大小file.size，其中i＝1,2…,I；任务i是任务i⁺的父任务的充要条件为：存在一个文件file，file是任务i的输出文件同时又是任务i⁺的输入文件，即：

获取云计算环境下的虚拟机集VM＝{vm₁,vm₂,…,vm_J}，其中J是虚拟机的数量，vm_j表示虚拟机j，即编号为j的虚拟机；

获取虚拟机相关参数：虚拟机j的计算能力vm_j.ps，虚拟机j的带宽vm_j.bw，其中j＝1,2…,J；

获取任务与虚拟机之间的支持关系：虚拟机j可以处理的任务集T_j，其中j＝1,2…,J；可以处理任务i的虚拟机集VM_i，其中i＝1,2…,I；

步骤2：计算任务的rank；

先计算t_i执行时的平均处理时间需要从共享数据库获得输入文件的平均传输时间需要从其它虚拟机获得输入文件的平均传输时间

t_i执行时的平均处理时间计算如下：

t_i执行时需要从共享数据库获得输入文件的平均传输时间为：

t_i执行时需要从其它虚拟机获得输入文件的平均传输时间为：

其中为和t_i间的文件平均传输时间，其计算如下：

然后，计算任务i的自下而上排序值其计算过程如下：

对于没有子任务的结束任务i：

其它任务的自下而上排序值采用如下递归公式进行计算：

接着，计算任务i的自上而下排序值其计算过程如下：

对于没有父任务的开始任务i：

其它任务的自上而下排序值采用如下递归公式进行计算：

最后，计算任务i的排序值rank_i：

其中，i＝1,2…,I；

步骤3：初始化当代种群；

当代种群中包含S个子种群，每个子种群又包含N个个体，N为偶数且N>S，其初始化过程如下：

对每个当代子种群采用基于关键任务优先调度和任务最早完成时间的个体生成方法生成一个个体，然后采用基于随机的个体生成方法生成剩余的N-1个不同的个体；

所述个体采用2I位整数编码，I为任务数量，其方法如下：ch＝{g₁,…,g_I,g_I+1,…,g_2I}，基因g_i是一个非负整数；其中，{g₁,…,g_I}是虚拟机分配列表，g_i表示给任务i分配的虚拟机编号，即把任务i分配给虚拟机g_i，g_i∈VM_i，i＝1,…,I；{g_I+1,…,g_2I}是任务调度顺序列表，是1,…,I的一个排列，且满足任务的时序约束，即任何任务都不能排在其父任务的前面，g_I+i表示第i个被调度的任务的编号，即任务g_I+i是第i个被调度的；

所述基于关键任务优先调度和任务最早完成时间的个体生成方法包括如下步骤：

步骤A1：令所有虚拟机的可得时间段列表vatl_j＝{[0,M]}，j＝1,2,…,J，M为一个接近无穷大的数；令所有任务的就绪时间rt_i＝0，i＝1,2,…,I；令任务集UT＝T，令任务集P(t_i)＝PR_i，i＝1,2,…,I，令变量k＝1；

步骤A2：把UT中的任务移动到RT中，如果RT不为空，则转到步骤A3，否则转到步骤A7；

步骤A3：从RT中的取出一个rank最大的任务，不妨设为t_i，g_I+k＝i；

步骤A4：令t_i的可得虚拟机集AVM_i＝VM_i，计算把t_i分别分配给AVM_i中的每个虚拟机后t_i的完成时间：

步骤A4.1：从AVM_i中取出一个虚拟机，不妨设为vm_j；

步骤A4.2：计算t_i分配给vm_j处理后的执行时间

步骤A4.3：在vatl_j中从早到晚找出一个空闲时段[ν_j,υ_j]，满足υ_j-ν_j≥et_i,j和υ_j-et_i,j≥rt_i；

步骤A4.4：计算t_i分配给vm_j处理后的开始时间s_i,j＝max{ν_j,rt_i}，完成时间f_i,j＝s_i,j+et_i,j；

步骤A4.5：若AVM_i不为空，则转到步骤A4.1，否则转到步骤A5；

步骤A5：按虚拟机顺序找出能最早完成t_i的虚拟机，不妨设为vm_j，g_i＝j，把t_i分配给vm_j：

步骤A5.1：令t_i的开始时间s_i＝s_i,j，t_i的完成时间f_i＝f_i,j；

步骤A5.2：更新t_i的子任务的就绪时间

步骤A5.3：在虚拟机可得时间段列表vatl_j中删除[ν_j,υ_j]，插入区间长度大于0的[ν_j,s_i]和[f_i,υ_j]；

步骤A6：令k＝k+1，在所有中删除t_i，转到步骤A2；

步骤A7：输出一个基于关键任务优先调度和任务最早完成时间的个体{g₁,…,g_I,g_I+1,…,g_2I}，操作结束；

其中：

ω_i,j：是vm_j处理t_i的时间，

是把t_i分配给vm_j处理时需要从其它的虚拟机获得输入文件的文件传输时间，

是处理的虚拟机；

τ_i,j：是把t_i分配给vm_j处理时需要从共享数据库获得输入文件的文件传输时间，

所述基于随机的个体生成方法包括如下步骤：

步骤B1：令任务集UT＝T，令任务集P(t_i)＝PR_i，i＝1,2,…,I，令变量k＝1；

步骤B2：把UT中的t_i移到RT中，如果RT不为空，则转到步骤B3，否则转到步骤B5；

步骤B3：从RT中随机取出一个任务，不妨设为t_i，从VM_i中随机选择一个虚拟机，不妨设为vm_j，令g_i＝j，g_I+k＝i，k＝k+1；

步骤B4：在所有中删除t_i，转到步骤B2；

步骤B5：输出一个随机生成的个体{g₁,…,g_I,g_I+1,…,g_2I}，操作结束；

步骤4：采用FBI&D和LDI方法改进初始当代种群中的所有个体并计算其适应度值；

所述适应度值为工作流响应时间rs，其计算方法如下：

其中：rf_i是任务i的响应时间，SFL_i是任务i输出给共享数据库的输出文件集，即

适应度值越小，个体越优；

所述FBI&D包括如下步骤：

步骤C1：令反向工作流响应时间其中M为一个接近无穷大的数；

步骤C2：采用基于插入模式的串行个体解码方法对个体ch进行解码，获得所有任务的完成时间f₁,…,f_I及其工作流响应时间rs；如果rs小于则转到步骤C3，否则，转到步骤C6；

步骤C3：把个体ch中的任务调度顺序列表根据任务完成时间f_i从大到小重新排列，即把ch中的基因g_I+i设置为倒数第i个完成的任务，i＝1,…,I，形成反向个体

步骤C4：对采用基于插入模式的串行反向个体解码方法进行解码获得所有任务反向完成时间及其反向工作流响应时间若小于rs，则转到步骤C5，否则，转到步骤C6；

步骤C5：把反向个体中的任务调度顺序列表根据任务反向完成时间从大到小重新排列，即把中的基因g_I+i设置为倒数第i个完成的任务，i＝1,…,I，形成个体ch，转到步骤C2；

步骤C6：输出个体ch及其适应度值即工作流响应时间rs，操作结束；

所述LDI方法包括如下步骤：

步骤D1：计算各虚拟机负载

步骤D2：找出负载最小的虚拟机j′；如果ld_j′>0，转到步骤D3，否则转到步骤D4；

步骤D3：令任务集转到步骤D5；

步骤D4：令任务集ST_j′＝T_j′，转到步骤D5；

步骤D5：如果ST_j′不为空，则从ST_j′中按顺序取出一个其所在虚拟机的负载是最高的任务i′，转到步骤D6；否则转到步骤D7；

步骤D6：令g_i′＝j′，形成新的个体采用FBI&D方法对进行解码与改进，如果相对于原个体有改进，则用此改进的个体替换原个体，转到步骤D7；否则转到步骤D5；

步骤D7：LDI操作结束；

步骤5：判断是否满足终止条件，如满足，则进化结束转到步骤9，否则转到步骤6；

所述终止条件为迭代到指定的代数TG或连续迭代GG代最优个体没有改进；

步骤6：判断是否需要进行子种群间交流；如果需要则转到步骤7，否则直接转到步骤8；

所述是否需要进行子种群间交流的判断条件为每迭代EFG代或自上次交流后连续迭代EVG代最优个体没有改进；

步骤7：进行子种群间的交流；

步骤7.1：令精英个体集从每个当代子种群s即CP_s中根据适应度值从优到劣选出当前TPS中尚不存在的1个个体，不妨设其为s＝1,…,S，并放到TPS中；

步骤7.2：对每个CP_s，s＝1,…,S，从TPS中找出CP_s中不存在的精英个体集CTPS_s，用CTPS_s中的个体替换CP_s中适应度值排名倒数的|CTPS_s|个个体，形成新的CP_s；

步骤8：每个子种群进行独立进化；

步骤8.1：对每个当代子种群进行N/2次交叉操作形成新子种群；

步骤8.2：对每个新子种群中的所有个体进行变异操作；

步骤8.3：采用FBI&D和LDI方法改进新子种群中的所有个体并计算其适应度值；

步骤8.4：对于每个子种群从当代子种群和新子种群中根据适应度值从小到大选出N个不同的个体作为新的当代子种群，转到步骤5；

步骤9：输出当代种群中的最优个体，其对应的调度方案为优化方案。