[发明专利]数据处理方法、装置、设备及存储介质

说明书

本申请提供了一种数据处理方法、装置、设备及存储介质，应用于数据处理平台中多个执行器节点中每个执行器节点，数据处理平台中还具有驱动器节点，其中，该方法包括：采用驱动器节点获取待处理字段的信息，待处理字段的信息包括：待处理字段的字段名和对应的字段值，采用每个执行器节点，判断每个执行器节点的数据表中是否包括待处理字段的字段名，若多个执行器节点中目标执行器节点的数据表中包括待处理字段的字段名，则采用目标执行器节点，根据待处理字段的字段值，对目标执行器节点的数据表进行操作。无需进行数据迁移，采用多个执行器节点并行处理，提高了数据处理效率，并且适用于各种类型的关系型数据库。

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种数据处理方法、装置、设备及存储介质。

背景技术

Spark是专为大规模数据处理而设计的快速通用的计算引擎，Spark支持操作多种类型的关系型数据库，比如支持从mysql、oralce、postgrsql等关系型数据库中读取和写入数据。

目前，基于Spark平台对关系型数据库执行插入更新操作往往使用合并（merge）的方法，其中，需要将数据落地，即将数据迁移至待执行插入更新的关系型数据库中，然后将该数据插入或更新到该关系型数据库中的数据表中。

然而，该方式不仅数据处理效率低下，并且由于不同数据库具有不同的限制条件，因此，该方式不适用于所有类型的关系型数据库，具有一定的局限性。

发明内容

有鉴于此，本申请实施例提供了一种数据处理方法、装置、设备及存储介质，以解决现有技术中数据处理效率低下，且具有一定局限性问题。

第一方面，本申请实施例提供了一种数据处理方法，应用于数据处理平台中多个执行器节点中每个执行器（Executor）节点，所述数据处理平台中还具有驱动器（Driver）节点，所述方法包括：

采用所述驱动器节点获取待处理字段的信息，所述待处理字段的信息包括：所述待处理字段的字段名和对应的字段值；

采用所述每个执行器节点，判断所述每个执行器节点的数据表中是否包括所述待处理字段的字段名，其中，所述每个执行器节点的数据表为将预设数据库的数据表分割为多个分区中的任一数据表；

若所述多个执行器节点中目标执行器节点的数据表中包括所述待处理字段的字段名，则采用所述目标执行器节点，根据所述待处理字段的字段值，对所述目标执行器节点的数据表进行操作。

在一可能的实现方式中，若所述多个执行器节点中目标执行器节点的数据表中包括所述待处理字段的字段名，则采用所述目标执行器节点，根据所述待处理字段的字段值，对所述目标执行器节点的数据表进行操作，包括：

若所述目标执行器节点的数据表中包括所述待处理字段的字段名，则采用所述目标执行器节点，比对所述目标执行器节点的数据表中所述待处理字段的数量和所述待处理字段的预设数量；

若数量比对结果为相同，则采用所述目标执行器节点，根据所述待处理字段的字段值，对所述目标执行器节点的数据表进行操作。

在一可能的实现方式中，所述方法还包括：

若所述数量比对结果为不相同，则采用所述目标执行器节点进行报错提示。

在一可能的实现方式中，所述判断所述每个执行器节点的数据表中是否包括所述待处理字段的字段名之前，所述方法还包括：

采用所述驱动器节点将至少一个所述预设数据库的数据存储至所述预设数据库的数据表；

采用所述驱动器节点对所述预设数据库的数据表进行分割，得到多个分区；

采用所述驱动器节点将所述多个分区分配至所述多个执行器节点。