[发明专利]一种优化Spark SQL执行工作流的方法

说明书

本发明公开了一种优化Spark SQL执行工作流的方法。该方法包括步骤S1：构建Spark任务执行的代价模型，分为读取输入数据的代价，对中间数据进行排序的代价和写输出数据的代价，将三者进行求和得到任务执行的总代价；步骤S2：提出基于代价的相关性合并算法，该算法的思想是对于两个具有输入数据相关性的任务，计算它们分别执行的代价之和与合并成一个任务之后执行的代价，通过比较两者的大小来决定是否将它们进行合并。本发明通过基于代价的相关性合并算法解决Spark SQL查询中对相同的输入数据进行重复读取的问题。

技术领域：

本发明涉及一种优化Spark SQL执行工作流的方法，属于计算机软件技术领域。

背景技术：

目前Spark SQL平台上对工作流的优化使用Catalyst框架，该框架对查询语句的处理和关系型数据库采用了类似的方法，即先将SQL语句进行词法语法解析(Parse)形成一个逻辑执行计划树，然后使用一定的优化规则对该树进行解析、优化和绑定等处理过程，通过模式匹配对树中不同类型的节点采用不同的操作。对逻辑执行计划树进行的优化主要是代数优化，包括谓词下推和列值裁剪等规则。所谓谓词下推，即将查询中包含的选择操作和投影操作下推到连接操作之前进行，这样可以分别在水平方向和垂直方向减少关系的大小，从而减少连接操作所产生的代价。所谓列值裁剪，即如果数据表是按列存储的，那么Spark SQL在读取输入数据进行查询时，会根据查询语句仅读取需要的列，从而在一定程度上减少磁盘I/O代价。但目前Catalyst框架仅仅涉及对查询语句本身的代数优化，对于SQL查询所翻译成的Spark作业流并没有一套合适的优化规则，若用户提交的单查询语句中重复出现的表，Spark SQL需要反复读取，造成冗余的读取代价，在一定程序上降低Spark程序的执行效率。例如用户在提交TPC-H Q17查询时，该查询语句如图2所示。该查询语句在Spark下执行的作业流如图3所示，可以发现Stage₁和Stage₃都要读取表lineitem，具有输入相关性，因此可以把两者进行合并，合并之后的查询树如图4所示。

通过合并成Stage₁₊₃，可以使读取lineitem表的代价降低一半。但是由于输出数据为原Stage₁和Stage₃的输出数据之和，因此合并之后写中间数据的代价不变。

但是合并并不一定能节约查询时间。例如在合并之前，Stage₂只读取Stage₁的输出，Stage₅只读取Stage₃的输出。合并之后，Stage₂和Stage₅就要读取Stage₁₊₃产生的中间数据，从而造成额外的读代价。同时由于Spark的内部机制会对Shuffle阶段产生的中间数据进行排序，那么对Stage₁和Stage₃产生的中间数据一起进行排序的代价要大于分别对两个Stage进行排序的代价之和，从而造成额外的排序代价。

发明内容

本发明的目的是提供一种优化Spark SQL执行工作流的方法，通过基于代价的相关性合并算法解决Spark SQL查询中对相同的输入数据进行重复读取的问题。

上述的目的通过以下技术方案实现：

一种优化Spark SQL执行工作流的方法，该方法包括如下步骤：

步骤S1：构建Spark任务执行的代价模型，分为读取输入数据的代价，对中间数据进行排序的代价和写输出数据的代价，将三者进行求和得到任务执行的总代价；

步骤S2：提出基于代价的相关性合并算法，该算法的思想是对于两个具有输入数据相关性的任务，计算它们分别执行的代价之和与合并成一个任务之后执行的代价，通过比较两者的大小来决定是否将它们进行合并。