[发明专利]混合云环境下面向代价优化的工作流数据布局方法

说明书

本发明涉及一种混合云环境下面向代价优化的工作流数据布局方法。首先，进行混合云环境下面向代价优化的科学工作流数据布局问题建模，将问题目标形式化得到目标函数；其次，对遗传粒子进行问题编码，实现粒子到数据布局策略的一一对应关系；再而，基于目标函数设计适应度函数来评价粒子优劣；最后，基于适应度函数，初始化种群并根据GAPSO的粒子更新策略对粒子种群不断更新迭代从而求得近似最优解。本发明方法可以有效降低混合云环境下科学工作流的执行代价。

技术领域

本发明涉及一种混合云环境下面向代价优化的工作流数据布局方法。

背景技术

科学工作流是一种以降低计算成本为目标的海量密集数据流的典型应用系统。科学工作流中计算任务节点之间的依赖关系非常复杂，数据集的大小可以达到TB甚至PB量级。随着云计算的出现，其高效、灵活、可伸缩性等特点为执行大型科学工作流提供了新的思路。云上充足的计算、存储与网络资源等使得科学工作流能更好的执行。通过在云环境下执行科学工作流，可以有效的减少执行代价，降低成本，然而如何在云上合理调度和管理资源是云计算目前面临的一个重要问题。混合云是一种融合了公有云和私有云的混合计算环境，公有云以其高伸缩性、低成本、可定制等特点为科学工作流的执行提供了服务保障，而私有云是一个公司或组织建立的内部数据存储中心。混合云结合了公有云与私有云各自的优势，而混合云环境下的科学工作流研究已经成为了科学工作流研究的热点。在混合云环境下对科学工作流进行数据布局，需要综合考虑公有云与私有云的优势。如何针对公有云与私有云各自的优势，降低数据传输延时以及数据布局代价，形成合理的数据布局方案成为了科学工作流数据布局问题的新的挑战。

发明内容

本发明的目的在于提供一种混合云环境下面向代价优化的工作流数据布局方法，该方法考虑了公有云数据中心与私有云数据中心的不同特点如存储容量、存储代价等因素以及数据传输时延约束对传输代价的影响，并结合遗传算法与粒子群优化算法的优点，生成科学工作流的布局策略。

为实现上述目的，本发明的技术方案是：一种混合云环境下面向代价优化的工作流数据布局方法，首先，进行混合云环境下面向代价优化的科学工作流数据布局问题建模，将问题目标形式化得到目标函数；其次，对遗传粒子进行问题编码，实现粒子到数据布局策略的一一对应关系；再而，基于目标函数设计适应度函数来评价粒子优劣；最后，基于适应度函数，初始化种群并根据GAPSO的粒子更新策略对粒子种群不断更新迭代从而求得近似最优解。

在本发明一实施例中，所述目标函数如下：

Minimize C_total

subject to T_total≤TimeLimit

上式表示目标是最小化数据布局总代价C_total的同时，满足科学工作流的总传输时延约束和满足每个数据中心容量限制；其中，T_total表示整个科学工作流的总传输时延，TimeLimit表示整个科学工作流的总传输时延约束；availsize_i表示数据中心dc_i的可用容量。

在本发明一实施例中，所述进行混合云环境下面向代价优化的科学工作流数据布局问题建模，将问题目标形式化得到目标函数的具体过程如下：