[发明专利]一种优化Spark SQL执行工作流的方法

权利要求书

1.一种优化Spark SQL执行工作流的方法，其特征在于，该方法包括如下步骤：

步骤S1：Catalyst框架中的解析器对用户提交的查询进行解析，形成逻辑执行计划树，所述逻辑执行计划树中的每一个结点对应Spark中的一个任务，通过对该逻辑执行计划树的分析可以精确定位每一个任务对应查询中的具体操作，从而可以对该任务的执行代价进行计算；构建Spark任务执行的代价模型，分为读取输入数据的代价，对中间数据进行排序的代价和写输出数据的代价，将三者进行求和得到任务执行的总代价，即；

C(Stage)＝C_read(Stage)+C_sort(Stage)+C_write(Stage) (1)

式(1)中：

C(Stage)为任务执行的总代价；

C_read(Stage)为读取输入数据的代价；

C_sort(Stage)为对中间数据进行排序的代价；

C_write(Stage)为写输出数据的代价；

由于C_read(Stage)和C_write(Stage)都是I/O代价，因此式(1)表达为C_I/O＝C₀T+C₁x，其中C_I/O为为读取输入数据的代价和写输出数据的代价之和，C₀为寻道时间和旋转延迟时间，T为发生I/O次数，C₁为传输1MB数据所需时间，x为读写数据大小；

所述的读取输入数据的代价C_read(Stage)的计算公式如式(2)所示：

式中：t_r为本地读取1MB数据所需时间，α为非本地数据占总数据的百分比，t_b为网络传输1MB数据所需时间，|D_in|为Spark Stage输入数据的大小，|D_out|为Spark Stage输出数据的大小，B为Spark task缓冲区大小；

所述的写输出数据的代价C_write(Stage)的计算方法如式(3)所示，

式中：t_w为本地写入1MB数据所需时间；

所述的对中间数据进行排序的代价C_sort(Stage)的计算方式如式(4)所示：

式中m为每个Stage中包含的任务个数；

所述的任务执行的总代价C(Stage)的计算如式(5)所示：

式中P为排序的次数，

步骤S2：通过使用代价模型比较产生的额外的排序代价、后续任务的读取代价与节约的读取输入数据的代价来决定是否对具有输入相关性的任务进行合并；计算它们分别执行的代价之和与合并成一个任务之后执行的代价如式(6)所示：

式中，Stage_i与Stage_j为对于两个具有输入数据相关性的任务，C(Stage_i+j)为两个具有输入数据相关性的任务Stage_i与Stage_j合并成一个任务之后执行的代价，为Stage_i与Stage_j输出数据的大小之和。