[发明专利]基于Spark组件的数据处理方法、装置、设备及介质

权利要求书

1.一种基于Spark组件的数据处理方法，其特征在于，所述方法包括：

获取SQL数据处理指令，确定与所述SQL数据处理指令对应的至少一个处理参数；

将所述至少一个处理参数传输给预设的ETL框架，创建Spark会话控制，所述创建Spark会话控制是通过Tempo-spark2包实现的；

其中，所述ETL框架通过Spark组件进行数据处理，所述Spark组件通过Tempo-spark2包、Tempo-common包、Tempo-udf包进行封装的，

所述Tempo-spark2包包括DriverMain、BasicSQL、LoadDB、LoadES、LoadFile、LoadHase、LoadHive、LoadMongoDB、LoadNeo4j类，以实现Spark会话控制的初始化、Spark参数配置、spark的调用和获取配置文件中的一个或多个；所述Tempo-common包包括BasicSQL、LoadDB、LoadES、LoadFile、LoadHase、LoadHive、LoadMongoDB、LoadNeo4j类对应的基类，所述基类用于完成数据库的连接，以完成通用方法的实现；所述Tempo-udf包用于完成通用方法的实现，所述通用方法包括序列生成器、人名格式化方法、企业名称格式化方法、半角转全角、数组排序、数组交集、数组合并中的一个或多个；

基于所述Spark会话控制，根据所述至少一个处理参数确定与所述SQL数据处理指令对应的目标数据库以及目标数据处理方式，并基于所述目标数据库和目标数据处理方式进行数据处理；其中，所述数据处理是通过Tempo-spark2包来实现的；

其中，所述基于所述Spark会话控制，根据所述至少一个处理参数确定与所述SQL数据处理指令对应的目标数据库以及目标数据处理方式的步骤，还包括：

基于所述Spark会话控制加载所述至少一个处理参数；

确定所述Spark会话控制加载所述至少一个处理参数的参数加载类型和参数加载模式，根据所述参数加载类型确定所述目标数据库，根据所述参数加载模式确定所述目标数据处理方式。

2.根据权利要求1所述的基于Spark组件的数据处理方法，其特征在于，所述将所述至少一个处理参数传输给预设的ETL框架，创建Spark会话控制的步骤，还包括：

对所述Spark会话控制进行初始化处理。

3.根据权利要求1所述的基于Spark组件的数据处理方法，其特征在于，所述目标数据库包括DB数据库、ES数据库、图数据库Neo4j、文件存储数据库MongoDB或文件系统数据库中至少一个；

所述基于所述目标数据库和目标数据处理方式进行数据处理的步骤，还包括：

基于所述至少一个处理参数，对所述目标数据库进行删除、插入、更新或覆盖操作。

4.根据权利要求1所述的基于Spark组件的数据处理方法，其特征在于，所述基于所述目标数据库和目标数据处理方式进行数据处理的步骤之后，还包括：

将进行数据处理的时间戳存储至dat目录下，将进行数据处理的日志文件存储至log目录下。