[发明专利]多表批量操作方法、系统及计算机设备

权利要求书

1.一种多表批量操作方法，其特征在于，基于Spark-SQL，所述多表批量操作方法包括以下步骤：

获取步骤：获取至少一待处理表的字段信息和封装数据；

格式信息封装步骤：将所述字段信息的类型转化为Spark-SQL支持的类型；

数据封装步骤：将所述字段信息对应的所述封装数据封装成Row类型数据；

执行步骤：创建DataFrame,执行SQL逻辑对所述DataFrame进行处理。

2.根据权利要求1所述的多表批量操作方法，其特征在于，所述获取步骤具体包括：根据所述待处理表的名称将至少一所述待处理表进行分类，获取每一分类中的一个所述待处理表的字段信息和封装数据。

3.根据权利要求1所述的多表批量操作方法，其特征在于，所述格式信息封装步骤具体包括：将所述字段信息转化为Spark-SQL支持的StructType类型。

4.根据权利要求1所述的多表批量操作方法，其特征在于，所述数据封装步骤具体包括：将同一类型的所述待处理表中每一行的所述封装数据封装为Row类型的集合。

5.根据权利要求1所述的多表批量操作方法，其特征在于，所述执行步骤具体包括：

第三封装步骤：将StructType类型的所述字段信息和Row类型的集合封装到一个实体类中；

转化步骤：将同一类型的实体类转化为一个DataFrame；

操作步骤：执行SQL逻辑后SparkSession开始批量处理表中数据。

6.一种多表批量操作系统，其特征在于，基于Spark-SQL，适用于上述权利要求1-5所述的基于Spark-SQL的多表批量操作方法，包括信息获取单元、格式信息封装单元、数据封装单元、执行单元，其中：

获取单元：获取至少一待处理表的字段信息和封装数据；

格式信息封装单元：将所述字段信息的类型转化为Spark-SQL支持的类型；

数据封装单元：将所述字段信息对应的所述封装数据封装成Row类型数据；

执行单元：创建DataFrame,执行SQL逻辑对所述DataFrame进行处理。

7.根据权利要求6所述的多表批量操作系统，其特征在于，根据所述待处理表的名称将至少一所述待处理表进行分类，获取每一分类中的一个所述待处理表的字段信息和封装数据。

8.根据权利要求7所述的多表批量操作系统，其特征在于，所述格式信息封装单元将所述字段信息转化为Spark-SQL支持的StructType类型；所述数据封装单元将同一类型的所述待处理表中每一行的所述封装数据封装为Row类型的集合类型。

9.根据权利要求8所述的多表批量操作系统，其特征在于，所述执行单元包括封装模块、转化模块、操作模块，其中：

封装模块：将StructType类型和Row类型的集合封装到一个实体类中；

转化模块：将同一类型的把实体类转化为一个DataFrame；

操作模块：执行SQL逻辑后SparkSession开始批量处理表中数据。

10.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的多表批量操作方法。