[发明专利]基于SparkSQL的透明分区方法及装置

权利要求书

1.一种基于SparkSQL的透明分区方法，其特征在于，包括：

在建表语句提交后，获取用户在创建分区表时指定分区字段和采用的分区策略，通过SQL解析器确定透明分区并将透明分区信息进行保存；

当用户通过SQL查询数据时，通过SQL解析生成逻辑执行计划；

根据逻辑执行计划中的查询条件，并结合保存的透明分区信息计算出本次查询的数据分区，然后通过改写逻辑执行计划并生成优化后的物理执行计划；

根据生成的物理执行计划的执行步骤划分出具体的任务，通过所述任务从所述数据分区中读取数据；

所述方法进一步包括：

在用户写入数据到分区表时，首先根据透明分区策略计算每条数据所在分区，然后将数据写入对应分区中；

将透明分区数据接入的功能嵌入到数据接入组件Flume中，通过Flume根据透明分区策略中关联的字段数据直接计算得出数据所在分区，自动创建透明分区并将接入系统的数据存储在分区目录中。

2.如权利要求1所述的方法，其特征在于，通过SQL解析器将分区信息保存具体包括：

通过SQL解析器将分区信息保存至Hive Metastore中。

3.如权利要求1所述的方法，其特征在于，通过SQL解析生成逻辑执行计划具体包括：

通过SQL解析进行语法检查、语义分析、和逻辑计划优化，生成逻辑执行计划。

4.如权利要求1所述的方法，其特征在于，所述分区策略具体包括：

按照时间间隔来划分分区；

直接截取date_field字段value值的前N位作为分区名称；

将data_field按照指定的格式作为分区名称；

将data_field按照hash取模的方式存储到对应的分区中。

5.一种基于SparkSQL的透明分区装置，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至4中任一项所述方法的步骤。