[发明专利]基于Spark组件的数据处理方法、装置、设备及介质

说明书

本发明实施例公开了一种基于Spark组件的数据处理方法及装置，所述方法包括：获取SQL数据处理指令，确定与所述SQL数据指令对应的至少一个处理参数；将所述至少一个处理参数传输给预设的ETL框架，创建Spark会话控制；基于所述Spark会话控制，根据所述至少一个处理参数确定与所述SQL数据处理指令对应的目标数据库以及目标数据处理方式，并基于所述目标数据库和目标数据处理方式进行数据处理。采用本发明实施例，可以对各种数据库的数据进行处理，提高数据处理的便利性。

技术领域

本发明涉及大数据技术领域，尤其涉及一种基于Spark组件的数据处理方法、装置、计算机设备及计算机可读存储介质。

背景技术

数据仓库技术(Extract-Transform-Load，ETL)用来描述将数据从来源端经过抽取(Extract)、转换(Transform)、加载(Load)至目的端的过程。ETL将分布的、异构数据源中的数据抽取到临时中间层后进行清洗、转换、集成，最后将数据加载到数据仓库中。市面上常见的ETL工具有informatica powercenter、IBM Datastage、 Kettle、Talend、DataX、Xplenty、DataPipeline等，但由于这些ETL工具或者无法适应海量数据的处理需求，或者数据清洗的复杂性不够、或者易用性不好、使用起来不方便、甚至需要二次开发。

发明内容

基于此，在本实施例中，提供了一种基于Spark组件的数据处理方法、装置、计算机设备及计算机可读存储介质，可提高基于ETL框架的数据处理的操作便利性。

在本发明的第一部分，提供了一种基于Spark组件的数据处理方法，所述方法包括：

获取SQL数据处理指令，确定与所述SQL数据指令对应的至少一个处理参数；

将所述至少一个处理参数传输给预设的ETL框架，创建Spark会话控制；

基于所述Spark会话控制，根据所述至少一个处理参数确定与所述SQL数据处理指令对应的目标数据库以及目标数据处理方式，并基于所述目标数据库和目标数据处理方式进行数据处理。

可选的，所述将所述至少一个处理参数传输给预设的ETL框架，创建Spark会话控制的步骤，还包括：

对所述Spark会话控制进行初始化处理。

可选的，所述基于所述Spark会话控制，根据所述至少一个处理参数确定与所述SQL数据处理指令对应的目标数据库以及目标数据处理方式的步骤，还包括：

基于所述Spark会话控制加载所述至少一个处理参数；

确定所述Spark会话控制加载所述至少一个处理参数的参数加载类型和参数加载模式，根据所述参数加载类型确定所述目标数据库，根据所述参数加载模式确定所述目标处理方式。

可选的，所述目标数据库包括DB数据库、ES数据库、图数据库Neo4j、文件存储数据库MongoDB或文件系统数据库中至少一个；

所述基于所述目标数据库和目标数据处理方式进行数据处理的步骤，还包括：

基于所述至少一个处理参数，对所述目标数据库进行删除、插入、更新或覆盖操作。

可选的，所述基于所述目标数据库和目标数据处理方式进行数据处理的步骤之后，还包括：

将进行数据处理的时间戳存储至dat目录下，将进行数据处理的日志文件存储至log目录下。

在本发明的第二部分，提供了一种基于Spark组件的数据处理装置，所述装置包括：

参数获取模块，用于获取SQL数据处理指令，确定与所述SQL数据指令对应的至少一个处理参数；