[发明专利]基于SQL语句运行时间的资源分配的方法及计算机设备

说明书

本发明提供一种基于SQL语句运行时间的资源分配的方法，收集SQL历史的执行记录ID、SQL语句以及运行时间runtime；根据执行记录ID获取该SQL语句执行时所分派的资源，形成资源向量R，解析SQL语句获取运算符、表名以及列名，根据表名以及列名查询元数据信息，获取数据信息，并将其对应至运算符，形成运算向量OP；以运行时间runtime为目标变量，R和OP为预测变量，利用机器学习算法建立预测模块，训练预测模型；提交SQL语句和资源向量值R，通过预测模型预测出所需执行时间；根据所述执行时间，进行选择资源分配模式；本发明还提供一种计算机设备，有效降低系统开销，使得用户负担低，提升用户体验。

技术领域

本发明涉及一种基于SQL语句运行时间的资源分配的方法及计算机设备。

背景技术

分布式计算资源分配模式分2种：批处理模式——计算资源(CPU，MEM等)分配和环境初始化在任务提交时进行，任务结束时收回资源和注销环境，再次提交任务时需重新分配资源和初始化环境。交互模式——计算资源分配和环境初始化在第一次任务执行时进行，之后的任务会不断重用已经分配好资源和环境配置。批处理模式缺陷是每次提交任务均有分配资源和初始化环境的开销，好处是任务结束就收回资源和初始化变量，适合长时间运行的任务。而交互模式优点是资源分配和初始化开销小，缺陷是如果不退出交互模式则资源一直占用不论是否有任务提交，适合短时间运行的任务。如何比较准确地判断任务运行时长，是正确选择资源分配模式和减少初始化动作的关键。通常做法是交给用户自己判断，后果是用户负担重(要了解执行引擎许多相关知识)又判断不准(决定因素多且关系复杂)，造成系统开销大或资源浪费。

发明内容

本发明要解决的技术问题，在于提供一种基于SQL语句运行时间的资源分配的方法及计算机设备，有效降低系统开销，使得用户负担低，提升用户体验。

本发明之一是这样实现的：一种基于SQL语句运行时间的资源分配的方法，包括如下步骤：

步骤1、收集SQL历史的执行记录ID、SQL语句以及运行时间runtime；

步骤2、根据执行记录ID获取该SQL语句执行时所分派的资源，形成资源向量R，解析SQL语句获取运算符、表名以及列名，根据表名以及列名查询元数据信息，获取数据信息，并将其对应至运算符，形成运算向量OP；

步骤3、以运行时间runtime为目标变量，R和OP为预测变量，利用机器学习算法建立预测模块，并训练预测模型；

步骤4、向训练好的预测模型提交SQL语句和资源向量值R，通过预测模型预测出所需执行时间；

步骤5、根据所述执行时间，进行选择资源分配模式。

进一步地，所述步骤5进一步具体为：设定一运行时间阈值，将所述执行时间与阈值比较，若小于等于阈值，则资源分配模式采用交互模式，否则资源分配模式采用批处理模式。

进一步地，所述步骤2中资源向量R包括Executor数、每个Executor的CPU核数以及MEM大小。

本发明之二是这样实现的：一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：

步骤1、收集SQL历史的执行记录ID、SQL语句以及运行时间runtime；

步骤2、根据执行记录ID获取该SQL语句执行时所分派的资源，形成资源向量R，解析SQL语句获取运算符、表名以及列名，根据表名以及列名查询元数据信息，获取数据信息，并将其对应至运算符，形成运算向量OP；

步骤3、以运行时间runtime为目标变量，R和OP为预测变量，利用机器学习算法建立预测模块，并训练预测模型；

步骤4、向训练好的预测模型提交SQL语句和资源向量值R，通过预测模型预测出所需执行时间；