[发明专利]一种跨平台统一的大数据SQL查询方法

权利要求书

1.一种跨平台统一的大数据SQL查询方法，包括以下步骤：

(1)扩展部分SQL语义，为用户提供统一的跨平台查询语言，允许用户在一个查询语句中通过Join连接不同平台中的表数据；

(2)统一SQL解析器将用户提交的查询语句解析为逻辑查询计划，并根据统一元数据库中保存的元信息，验证查询语句的合法性；

(3)跨平台优化器优化所述步骤(2)得到的逻辑查询计划的结构与连接顺序，并生成具有最小执行代价的最佳物理执行计划；所述最佳物理执行计划中的各节点均为绑定了执行平台的子查询；

(4)跨平台调度器为所述最佳物理执行计划中的每个子查询生成一个子查询任务，在执行平台不同但具有依赖关系的两个子查询任务之间生成数据迁移任务，并通过分析所有任务之间的依赖关系构建任务流图，利用平台层提供的统一接口自动调度、执行所有任务；

(5)若全部任务执行完成，将最后一个任务的查询结果返回给用户；若有一个任务执行失败，则中断所有未完成的任务，并将异常原因返回给用户；

(6)记录并维护查询过程中产生的物化视图，在后续查询中可复用物化视图中的数据，从而提升查询性能；

(7)设计满足跨平台查询需求的统一的平台层接口，屏蔽底层不同执行平台间的操作差异，为跨平台优化器、跨平台调度器提供支持；

所述步骤(3)中，跨平台优化器分为两个阶段：第一阶段是一个基于规则的优化器，根据优化规则对逻辑查询计划进行预处理，所述预处理包含逻辑查询计划优化、子查询划分与Join重排序三个步骤；第二阶段是一个基于代价的优化器，枚举所有可能的物理执行计划并计算各物理执行计划的代价，从而找到代价最小的最佳物理执行计划；

所述步骤(4)中，执行数据迁移任务时采用了一种并行化数据迁移方法，所述并行化数据迁移方法将一个数据迁移任务自动划分为多个可并行执行的子迁移任务，并将各子迁移任务调度到集群中的不同节点上执行，充分利用分布式平台的性能；

所述步骤(6)中，所述物化视图为执行跨平台查询过程中被持久化的中间结果；通过基于语义的视图匹配算法，在后续查询中复用物化视图中的数据，从而提升查询性能；为所述物化视图设置生存时间，从而平衡数据复用与数据更新之间的矛盾。

2.根据权利要求1所述一种跨平台统一的大数据SQL查询方法，其特征在于：所述步骤(1)中，将SQL标准中的命名空间扩展到执行平台，用于在跨平台查询语句中指定表数据所属的平台，使用户能在单个查询语句中访问不同数据源中的表数据。