[发明专利]基于图分割的工作流部署方法

说明书

本发明公开了一种基于图分割的工作流部署方法，主要解决现有基于分簇的工作流部署算法以牺牲工作流中任务并行执行效率为代价实现通信开销的最小化，导致任务并行执行效率较低的问题。其实现方案是：1)建立工作流有向无环图DAG模型G；2)计算工作流中任务执行时间和任务间的数据传输时间；3)对工作流模型G中的串行结构进行合并，得到新工作流模型图G'；4)对新工作流模型图G'进行分割，得到最佳任务分区；5)以执行时间最小为依据，将最佳任务分区映射到虚拟机上，完成对工作流的部署。本发明减小了工作流完成时间，提高了工作流的执行效率，可用于工作流执行过程中数据开销与任务并行执行效率的联合优化。

技术领域

本发明属于云计算技术领域，尤其涉及一种工作流部署方法，可用于工作流执行过程中数据开销与任务并行执行效率的联合优化。

背景技术

在云计算环境下，工作流是指由一组存在依赖关系的任务组成的相关联任务，通常采用有向无环图DAG来描述。工作流相比独立任务来说规模更大、结构更复杂。工作流的部署不仅要考虑工作流中每个任务的资源分配，还要考虑各任务间的数据传输和执行顺序，大大增加了任务部署的复杂度。在分布式、异构的环境下，如何更加科学合理地部署工作流，仍是当前学术界的一个研究热点。

目前，诸如MapReduce、Spark这样的集群计算架构被广泛应用于数据中心网络中，以分析和处理持续增长的计算和网络任务，将复杂的大规模任务分解为较为简单的任务并建模为工作流，交由具有强大并行处理能力的云数据中心来完成。一个工作流包含多个具有相互依赖关系的任务，这些任务按照一定的优先顺序相互连接，工作流的部署必须考虑各个任务之间的数据传输。研究表明，在MapReduce应用中，中间数据传输所用的时间占整个工作流完成时间的30％以上，对于一些大规模的商用数据中心，如在雅虎数据中心集群中，工作流的过程数据传输是其网络流量最主要的组成部分，其所占用时间接近工作流完成总时间的60％。同时，工作流的过程数据传输也是造成网络拥塞的一大关键原因。因此，对工作流进行优化部署，从而减少过程通信开销，对缓解数据中心的流量压力，缩短任务完成时间至关重要。

具有代表性的启发式工作流部署算法主要包括：基于列表的部署算法、基于分簇的部署算法、基于复制的部署算法。其中，基于分簇的工作流部署算法主要针对降低工作流任务间的通信开销这一目的，将工作流中的任务先映射到不同的簇中，之后将每个簇作为一个整体映射到同一计算节点上。其核心思想是将多个有边相连(有数据依赖关系的)的任务划分到同一簇中，从而节省簇内任务之间的通信开销。

例如，Ahmad SG等人在其发表论文“Data-intensive workflow optimizationbased on application task graph partitioning in heteroge-neous computingsystems”(IEEE Fourth International Conference on Big Data and CloudComputing.IEEE,2014:129-136)中提出了一种针对异构计算系统的基于分区的数据密集型工作流优化算法PDWA。在该算法中，工作流被划分为指定规模和数量的任务分区，以使得分区间的数据传输开销最小。PDWA定义了每个任务分区中允许包含的最大任务数，该值由工作流中总任务数乘以一个小于1的系数计算得到，然后将每个任务分区映射到使得分区执行时长最短的计算节点上。该方法存在的不足之处是，根据工作流任务之间的数据依赖关系对工作流进行分簇，从而可能将某些数据依赖关系较强的可并行执行的任务划分到同一个的簇中，导致这些任务的并行执行性较差，最终影响工作流完成时间。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于图分割的工作流部署方法，以实现工作流分簇过程中通信开销最小化和并行性最大化之间的平衡，提高工作流的执行效率。

本发明的技术思路是：从图论的角度出发，充分挖掘工作流中各任务之间的依赖性和并行性，对经典的图分割算法——社区发现算法进行改进，实现工作流任务分区过程中数据开销与任务并行性的联合优化。