[发明专利]一种SparkSQL在线优化方法和装置

权利要求书

1.一种Spark SQL在线优化方法，该方法利用贝叶斯优化在Spark SQL上执行待优化配置参数的迭代搜索，包括以下步骤：

步骤S1：通过与贝叶斯迭代搜索过程进行交互收集参数样本，获得样本数据集，其中每个样本数据包括迭代过程使用的配置参数和各个query的执行时间；

步骤S2：针对所述样本数据集，根据参数重要程度进行参数降维，并将降维后的样本数据集输入到贝叶斯优化过程中，用于高斯过程的建模，以确定应用程序的执行时间与参数样本之间的关联关系。

2.根据权利要求1所述的方法，其特征在于，步骤S2包括：基于所述样本数据集，通过斯皮尔曼相关性分析，进行第一次参数降维，进而通过核主成分分析进行第二次参数降维，获得降维后的样本数据集。

3.根据权利要求1所述的方法，其特征在于，在步骤S2中，在贝叶斯优化的迭代过程中，将应用程序的性能建模为配置参数和输入数据量大小的函数分布。

4.根据权利要求1所述的方法，其特征在于，所述待优化参数包括Spark SQL内部配置参数和Spark运行时配置参数，其中内部配置参数用于指定Spark SQL应用的属性，运行时配置参数用于指定Spark不同方面的执行性能。

5.一种Spark SQL在线优化装置，该装置利用贝叶斯优化在Spark SQL上执行待优化配置参数的迭代搜索，包括：

参数样本收集模块：用于通过与贝叶斯迭代搜索过程进行交互收集参数样本，获得样本数据集，其中每个样本数据包括迭代过程使用的配置参数和各个query的执行时间；

性能建模模块：用于针对所述样本数据集，根据参数重要程度进行参数降维，并将降维后的样本数据集输入到贝叶斯优化过程中，用于高斯过程的建模，以确定应用程序的执行时间与参数样本之间的关联关系。

6.根据权利要求5所述的装置，其特征在于，所述性能建模模块用于执行：基于所述样本数据集，通过斯皮尔曼相关性分析，进行第一次参数降维，进而通过核主成分分析进行第二次参数降维，获得降维后的样本数据集。

7.根据权利要求5所述的装置，其特征在于，所述性能建模模块用于执行：在贝叶斯优化的迭代过程中，将应用程序的性能建模为配置参数和输入数据量大小的函数分布。

8.根据权利要求5所述的装置，其特征在于，所述待优化参数包括Spark SQL内部配置参数和Spark运行时配置参数，其中内部配置参数用于指定Spark SQL应用的属性，运行时配置参数用于指定Spark不同方面的执行性能。

9.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求1至4中任一项所述方法的步骤。

10.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至4中任一项所述的方法的步骤。