[发明专利]多表批量操作方法、系统及计算机设备

说明书

本申请公开了一种多表批量操作方法、系统及计算机设备。多表批量操作方法包括：获取步骤：获取至少一待处理表的字段信息和封装数据；格式信息封装步骤：将字段信息转化为Spark‑SQL支持的StructType类型的格式信息；数据封装步骤：将字段信息对应的封装数据封装成Row类型数据；执行步骤：创建DataFrame,执行SQL逻辑对DataFrame进行处理。本发明基于通用Spark‑SQL处理数据的方式，将至少一待处理表数据整合到一个DataFrame中，进而提高Spark‑SQL处理的效率，在满足单一表的数据处理的同时，还能满足多张表的数据处理。

技术领域

本申请涉及数据处理领域，尤其涉及一种基于Spark-SQL的多表批量操作方法、系统及计算机设备。

背景技术

大数据技术是目前较为热门的一项技术，指对规模巨大的数据进行查询、分析等处理的技术。随着大数据时代的来临，与大数据相关的数据仓库、数据安全、数据分析、数据挖掘等应用已逐渐成为IT行业的研究热点。其中，诞生于加州大学伯利克分校AMP Lab的Apache Spark是一个基于内存计算的大数据计算框架，它是Map Reduce(MR)的替代方案，目的在于提供更高效的数据处理能力，且其能够兼容HDFS分布式存储层，兼容Apache Hive元数据仓库，可融入Hadoop的生态系统，以弥补失Map Reduce的不足。基于Spark SQL对诸如Apache Hive等的标的产品实现计算逻辑，相比于Map Reduce而言能够提高处理性能。目前针对相关技术中，存在以下瓶颈，尚未提出有效解决方案:

1、Map Reduce不能满足大部分大数据场景下的处理。

2、大多数应用场景下，Spark任务处理都是单一表进行的，当任务需要同时处理多张表的数据时，就需要在之前的技术基础上进行额外的设计。

因此，针对以上现状，做出了一种基于Spark-SQL的多表批量操作方法及系统。本申请采用基于Spark-SQL对单表的处理方式，在面对灵活的业务数据时能够从中将相同的表数据整合到一个DataFream中，进而提高Spark-SQL处理的效率，满足了基本的单表需求的同时还能满足多张表的数据处理。

发明内容

本申请实施例提供了一种基于Spark-SQL的多表批量操作方法、系统及计算机设备，以至少解决相关技术中主观因素影响的问题。

本发明提供了一种多表批量操作方法，基于Spark-SQL，其中，包括：

获取步骤：获取至少一待处理表的字段信息和封装数据；

格式信息封装步骤：将所述字段信息的类型转化为Spark-SQL支持的类型；

数据封装步骤：将所述字段信息对应的所述封装数据封装成Row类型数据；

执行步骤：创建DataFrame,执行SQL逻辑对所述DataFrame进行处理。

上述的多表批量操作方法，其中，所述待处理表的名称将至少一所述待处理表进行分类，获取每一分类中的一个所述待处理表的字段信息和封装数据。

上述的多表批量操作方法，其中，所述格式信息封装步骤具体包括：将所述字段信息转化为Spark-SQL支持的StructType类型。

上述的多表批量操作方法，其中，所述数据封装步骤具体包括：将同一类型的所述待处理表中每一行的所述封装数据封装为Row类型的集合。

上述的多表批量操作方法，其中，所述执行步骤具体包括：

第三封装步骤：将StructType类型的所述字段信息和Row类型的集合封装到一个实体类中；

转化步骤：将同一类型的实体类转化为一个DataFrame；