[发明专利]一种跨平台统一的大数据SQL查询方法

摘要

本发明公开了一种跨平台统一的大数据SQL查询方法，包括以下步骤：扩展部分SQL语义，为用户提供统一的跨平台SQL查询语言；统一SQL解析器将用户提交的查询语句解析为逻辑查询计划，并根据统一元数据库中保存的元信息，验证查询语句的合法性；跨平台优化器优化逻辑查询计划的结构与连接顺序，并将逻辑查询计划转化为由多个绑定了执行平台的子查询构成的最佳物理执行计划；跨平台调度器将最佳物理执行计划转化为任务流图，并根据任务间的依赖关系自动调度、执行所有任务；设计满足跨平台SQL查询需求的统一的平台层接口，屏蔽不同执行平台间的操作差异。本发明解决现有跨平台查询方法易用性差、性能低、数据迁移开销巨大等问题。

主权项

1.一种跨平台统一的大数据SQL查询方法，包括以下步骤：(1)扩展部分SQL语义，为用户提供统一的跨平台查询语言，允许用户在一个查询语句中通过Join连接不同平台中的表数据；(2)统一SQL解析器将用户提交的查询语句解析为逻辑查询计划，并根据统一元数据库中保存的元信息，验证查询语句的合法性；(3)跨平台优化器优化所述步骤(2)得到的逻辑查询计划的结构与连接顺序，并生成具有最小执行代价的最佳物理执行计划；所述最佳物理执行计划中的各节点均为绑定了执行平台的子查询；(4)跨平台调度器为所述最佳物理执行计划中的每个子查询生成一个子查询任务，在执行平台不同但具有依赖关系的两个子查询任务之间生成数据迁移任务，并通过分析所有任务之间的依赖关系构建任务流图，利用平台层提供的统一接口自动调度、执行所有任务；(5)若全部任务执行完成，将最后一个任务的查询结果返回给用户；若有一个任务执行失败，则中断所有未完成的任务，并将异常原因返回给用户；(6)记录并维护查询过程中产生的物化视图，在后续查询中可复用物化视图中的数据，从而提升查询性能；(7)设计满足跨平台查询需求的统一的平台层接口，屏蔽底层不同执行平台间的操作差异，为跨平台优化器、跨平台调度器提供支持。