[发明专利]一种分布式newSQL数据库系统及方法

说明书

本发明公开了一种分布式newSQL数据库系统及方法，系统包括数据库接口，用于用户向Master发送请求，并接收master返回的结果；Master，用于负责以JDBC、ODBC的方式接入用户请求并且协调多方之间的数据通讯以及管理整体流程，并将用户请求优先发送给SQLPlaner；SQLPlaner，用于解析用户请求，编译以及定制执行计划；分布式事务管理器，用于协调所述计划中多方完成分布式事务管理；并行任务执行器，用于负责所述计划的任务并行地执行，以及将从数据库获得的数据进行归并汇总以返回给master。本发明优化高并发情况下的事务操作，支持分布式事务、半结构化数据、全文检索和高效的图片存储。

技术领域

本发明涉及数据库技术领域，尤其涉及一种分布式newSQL数据库系统。

背景技术

HBase即Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。Hbase已成为目前应用最广泛的分布式NoSQL数据库之一，但随着越来越多的应用尝试迁移到HBase上，HBase的缺陷也越来越被暴露出来，主要包括

使用成本高：用户需要通过API编程访问HBase，对于复杂应用使用成本过高；不支持标准JDBC/ODBC接口，ETL过程十分复杂；使用成本过高直接导致许多较为复杂的应用无法使用HBase。

无法有效的支持非主键查询：在实际应用中，用户往往需要进行多维度的查询，HBase无法有效的支持非主键查询。

只支持单行事务：在实际应用中，事务往往涉及到多表中的多行数据，HBase提供的单行事务无法满足应用需求。

无法有效支持半结构化数据：HBase的数据模型是完全结构化的，无法有效支持半结构化形式数据(如JSON)。

无法有效支持图片存储：在公安，交通等领域中，用户往往需要存储大量的图片数据，典型的一张图片大小在500K到2MB之间，实践证明HBase无法有效的满足图片类型的存储。

可用性较低：HBase的每个region同时只在一台HRegionserver上提供服务，当出现HRegionserver故障宕机时，该HRegionserver上所有region对应的数据会暂时不可用，直到容错机制将region重新分配到其他HRegionserver上，这使得HBase的可用性不足以满足一般在线业务的需求。

发明内容

本发明提供一种分布式newSQL数据库系统，实现复杂的业务逻辑，解决非主键查询需求，优化高并发情况下的事务操作，支持分布式事务、半结构化数据、全文检索和高效的图片存储。

为实现上述技术目的，本发明采用以下技术方案：

一种分布式newSQL数据库系统包括

数据库接口，用于用户向Master发送请求，并接收master返回的结果；

Master，用于负责以JDBC、ODBC的方式接入用户请求并且协调多个处理器之间的数据通讯以及管理整体流程，并将所述用户请求优先发送给SQLPlaner；

SQLPlaner，用于解析所述用户请求，编译以及定制执行计划；

分布式事务管理器，用于协调所述计划中多方完成分布式事务管理；

并行任务执行器，用于负责所述计划的任务并行地执行，以及将从数据库获得的数据进行归并汇总以返回给master。

对上述方案的进一步改进如下

所述并行任务执行器通过hbase和搜索引擎服务器向所述数据库获取数据。