[发明专利]一种改进离散萤火虫算法的数据仓库ETL调度优化方法在审
| 申请号: | 202110834153.6 | 申请日: | 2021-07-20 |
| 公开(公告)号: | CN113535683A | 公开(公告)日: | 2021-10-22 |
| 发明(设计)人: | 付蔚;王彦青;宾茂梨;刘庆;冯建强;李正 | 申请(专利权)人: | 重庆邮电大学 |
| 主分类号: | G06F16/21 | 分类号: | G06F16/21;G06F16/25;G06N3/00 |
| 代理公司: | 北京同恒源知识产权代理有限公司 11275 | 代理人: | 廖曦 |
| 地址: | 400065 *** | 国省代码: | 重庆;50 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 改进 离散 萤火虫 算法 数据仓库 etl 调度 优化 方法 | ||
1.一种改进离散萤火虫算法的数据仓库ETL调度优化方法,其特征在于:包括以下步骤:
S1:根据ETL调度任务集合进行萤火虫位置的初始化,并初始化萤火虫种群Fi、处理机个数c、各层次ETL任务数量n、光吸收系数I0、两萤火虫的空间距离r;
S2:根据初始化后的萤火虫位置,通过目标函数计算萤火虫亮度;
S3:对萤火虫位置的更新,对应为根据萤火虫亮度对萤火虫进行移动,分别为对普通萤火虫进行移动和对最优萤火虫进行移动;普通萤火虫根据自适应步长进行移动,普通萤火虫的移动方向通过相对荧光亮度最大的萤火虫确定;最优萤火虫的移动通过寻找当前情况下的最优解确定;
S4:判断是否到达迭代次数T,若未到达则继续执行步骤S2-S3,进行迭代更新;若到达则结束算法,输出全局最优解。
2.根据权利要求1所述的改进离散萤火虫算法的数据仓库ETL调度优化方法,其特征在于:所述步骤S1中,首先通过同层划分的方法对所有ETL任务构建同层任务集{T(i)|i=0,1...k},其中i代表层号,T(i)代表第i层的任务集合,具体包括以下步骤:
S101:初始化层号i=0;
S102:在ETL任务图中找出所有没有前置节点的ETL任务,将其归入T(i)中;
S103:把T(i)中的ETL任务从ETL任务图中移除,i=i+1;
S104:如果ETL任务图不为空,则重复步骤S12~步骤S14;否则结束。
3.根据权利要求1所述的改进离散萤火虫算法的数据仓库ETL调度优化方法,其特征在于:步骤S1中所述初始化萤火虫位置过程如下:
S111:首先根据同层任务集的层号升序排列获得一个任务序列;
S112:再将所述任务序列中的ETL任务随机分配给c个处理机之一进行调度;
S113:然后将所有ETL任务按照分配处理机的顺序形成一个调度序列,以此作为萤火的位置;
S114:最后重复步骤S112-S113,为所有萤火虫初始化位置向量。
4.根据权利要求1所述的改进离散萤火虫算法的数据仓库ETL调度优化方法,其特征在于:所述步骤S2具体包括以下步骤:
S21:获得各ETL任务的执行时间;
S22:按层划分,计算各层中所有ETL任务消耗的各处理机的时间;
S23:挑选出各层中消耗时间最多的处理机及其消耗时间;
S24:将各层中各处理机消耗的最大时间相加,获得总的消耗时间;
S25:计算萤火虫亮度其中j表示第j个萤火虫,Tmax指调度序列消耗最大时间,通过计算各个分组中耗费时间最多的处理器的和求得,Xi指位置向量,表示第i个萤火虫位置。
5.根据权利要求1所述的改进离散萤火虫算法的数据仓库ETL调度优化方法,其特征在于:步骤S3中所述普通萤火虫的移动是向着相对萤光亮度较大的萤火虫移动的过程,普通的萤火虫采用不同的移动步长进行移动,具体过程如下:
S311:根据计算萤火虫与其它所有萤火虫的相对荧光亮度,其中:I0代表萤火虫的最大荧光亮度,其值与目标函数值相关,越优的目标函数值代表着越高的自身亮度;γ为光强吸收系数,用来体现荧光会随着传播距离而衰减的特性;r为两个萤火虫i与j间的空间距离,即当r=0时,I(r)为其自身的荧光亮度;
S312:挑选出相对荧光亮度最大的萤火虫;
S313:根据Xj(t+1)=Xj(t)⊙ΔDi,j(t)计算出萤火虫移动后的新位置,其中Di,j(t)为萤火虫i和j之间总距离的向量,AVj(t)为自适应二元向量,Di,j(t)表示为Di,j(t)=[Xi,k(t)~Xj,k(t);k=1,…,D];
操作符~表示:。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于重庆邮电大学,未经重庆邮电大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110834153.6/1.html,转载请声明来源钻瓜专利网。





