[发明专利]一种改进离散萤火虫算法的数据仓库ETL调度优化方法

说明书

本发明涉及一种改进离散萤火虫算法的数据仓库ETL调度优化方法，属于数据库技术领域，包括(1)数据仓库ETL调度优化通过离散萤火虫种群实现各自位置的优化，根据ETL调度任务集合T_(i)进行初始化；(2)根据初始化后的萤火虫位置计算萤火虫亮度，萤火虫亮度通过目标函数计算获取；(3)对于萤火虫位置的更新则是根据萤火虫亮度进行移动，分为普通萤火虫的移动和最优萤火虫的移动。普通萤火虫根据自适应步长进行移动，并且表示了移动的方向，最优萤火虫的移动就是寻找当前情况下的最优解；(4)判断迭代次数是否满足条件，不满足继续进行迭代过程，满足则输出全局最优值。本方法提高了ETL访问效率。

技术领域

本发明属于数据库技术领域，涉及一种改进离散萤火虫算法的数据仓库ETL调度优化方法。

背景技术

随着企业信息化建设的发展，巨大的投资为企业建立了众多的信息系统，以帮助企业进行内外部业务的处理和管理工作。但是随着信息系统的增加，各自孤立工作的信息系统将会造成大量的冗余数据和业务人员的重复劳动。数据集成是企业应用集成的重要环节，企业实现数据集成，可以使更多的人更充分地使用已有数据资源，减少资料收集、数据采集等重复劳动和相应费用。

数据仓库是为企业所有级别的战略决策提供支持的所需数据的战略集合，是企业进行联机分析处理与数据挖掘的基础。近年来，随着数据仓库的规模越来越大，体系结构也越来越复杂。数据仓库从集中式发展成为了分布式，数据仓库的ETL过程也随之变得越来越繁杂。

数据仓库ETL(Extract-Transform-Load，ETL)是指在数据仓库建设中对于数据的抽取、转换和加载的过程。数据仓库ETL作为构建数据仓库的一个关键环节，负责将分布的、异构的数据源中的数据，如关系型数据、平面数据文件等抽取到临时中间层之后，接着进行清洗、转换、集成,最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。

剑桥学者Xin-She Yang等根据自然界中萤火虫的发光行为，提出了萤火虫算法，通过模拟萤火虫发光行为构建一种智能优化算法，用于解决多变量优化问题，是一种全局搜索能力强、收敛速度快和自适应性好的群集智能优化算法。

关于任务流的调度与优化问题被认为是一个NP完全问题，数据仓库的ETL调度优化同样具有这样的特点。数据仓库的ETL调度优化目标是在多处理机并行调度的环境下能找到一个合适的调度序列，可以使整个ETL过程所耗费的时间最小。因为数据仓库的ETL过程是由数量众多的ETL任务构成的，这些ETL任务之间会存在一定的先后依赖关系。所以在ETL的调度优化过程中，首先需要保证的就是ETL任务间的依赖关系不被破坏，根据数据仓库的ETL任务流图所呈现的“深度浅，宽度广”的特点。

发明内容

有鉴于此，本发明的目的在于提供一种基于改进离散萤火虫算法的数据仓库ETL调度优化方法，该方法在标准萤火虫算法的基础上，改进离散萤火虫算法对数据仓库的调度优化问题进行求解。

为达到上述目的，本发明提供如下技术方案：

一种改进离散萤火虫算法的数据仓库ETL调度优化方法，包括以下步骤：

S1：根据ETL调度任务集合进行萤火虫位置的初始化，并初始化萤火虫种群F_i、处理机个数c、各层次ETL任务数量n、光吸收系数I₀、两萤火虫的空间距离r；

初始化过程结束之后，将会生成一个具有n个萤火虫的种群，每个萤火虫已经被初始化到了各自的位置上。在构建任务序列时之所以要按照同层任务集升序排列是为了保证在萤火虫位置向量中，同一层的ETL任务都是相邻并连续的，这样子更加有利于萤火虫亮度的计算以及同层任务之间的调整。

S2：根据初始化后的萤火虫位置，通过目标函数计算萤火虫亮度，萤火虫亮度的大小决定了萤火虫位置的好坏；