[发明专利]数据处理方法、装置、设备和存储介质

说明书

本申请实施例提供了一种数据处理方法、装置、设备和存储介质，以选择执行查询语句的处理器。所述方法包括：对所述查询语句对应的算子进行估计，确定所述算子在不同处理器的执行成本；依据所述处理器的压力数据和所述算子在不同处理器的执行成本，确定执行所述查询语句的处理器。能够合理的选择查询语句的处理器，提高数据库的资源利用率。

技术领域

本申请涉及计算机技术领域，特别是涉及一种数据处理方法和装置、一种电子设备和一种存储介质。

背景技术

随着互联网业务的不断多元和用户量的增长，现代的数据库不仅需要存储更多的数据，在进行复杂数据查询时，也面临越来越大的性能压力。

传统的数据库使用CPU进行SQL(Structured Query Language，结构化查询语言)语句的查询，随着性能压力的增加，越来越多的数据库开始采用GPU(Graphics ProcessingUnit，图形处理器)来加速复杂的大数据量查询SQL。

但是，GPU和CPU的架构不同，擅长处理的领域也不同，相应不同SQL语句使用GPU、CPU时消耗的资源也不同，因此如何选择执行SQL语句的处理器，是本领域技术人员亟需解决的一个技术问题。

发明内容

本申请实施例提供了一种数据处理方法，以选择执行查询语句的处理器。

相应的，本申请实施例还提供了一种数据处理装置、一种电子设备以及一种存储介质，用以保证上述方法的实现及应用。

为了解决上述问题，本申请实施例公开了一种数据处理方法，所述方法包括：对所述查询语句对应的算子进行估计，确定所述算子在不同处理器的执行成本；依据所述处理器的压力数据和所述算子在不同处理器的执行成本，确定执行所述查询语句的处理器。

可选的，所述对所述查询语句对应的算子进行估计，确定所述算子对应的执行成本，包括：按照处理器，确定所述算子的计算代价和数据获取代价；依据所述计算代价和数据获取代价的和，确定所述算子对应所述处理器的执行成本。

可选的，确定所述算子的计算代价的步骤包括：确定所述算子对应数据量和选择的线性模型；将所述数据量输入所述线性模型，确定所述算子的计算代价。

可选的，确定所述算子的数据获取代价的步骤包括：将读取的数据量和系统磁盘的读取带宽之间的比值，作为所述算子的数据获取代价；和/或，将读取的数据量和总线的读取带宽之间的比值，与所述总线传输的固定成本的和值，作为所述算子的数据获取代价。

可选的，所述依据所述处理器的压力数据和所述算子在不同处理器的执行成本，确定执行所述查询语句的处理器，包括：若所述不同处理器的压力数据满足第一压力条件，则根据所述算子在不同处理器的执行成本确定执行路径，依据所述执行路径确定执行所述查询语句的处理器；若所述不同处理器的压力数据满足第二压力条件，则依据所述算子在不同处理器的执行成本，选择目标处理器执行所述查询语句。

可选的，所述方法还包括：确定查询语句对应的查询树。

可选的，还包括：依据所述算子在不同处理器的执行成本，确定所述查询树在不同处理器的执行性能信息。

可选的，依据所述算子在不同处理器的执行成本，确定所述查询树在不同处理器的执行性能信息，包括：按照处理器对所述算子的执行成本进行累加，得到所述查询树对应所述处理器的执行性能信息。

可选的，还包括：按照设定规则，对所述查询树中节点进行融合。

可选的，所述根据所述算子在不同处理器的执行成本确定执行路径，依据所述执行路径确定执行所述查询语句的处理器，包括：依据所述算子在所述查询树中对应的节点和所述算子在不同处理器的执行成本，确定对应的执行路径；按照所述执行路径，确定执行所述查询语句的处理器。