[发明专利]一种异构云存储系统及其数据处理方法

说明书

技术领域

本发明涉及计算机领域，尤其涉及一种异构云存储系统及其数据处理方法。

背景技术

关于数据存储系统，目前符合结构化查询语言SQL标准的系统是使用最广泛的。现在众多的云存储系统都会对外提供一个类似JDBC(JAVA数据库连接，一种用于执行SQL的JAVAAPI，它可以兼容多种关系型数据库)或者ODBC(由微软提出的数据访问接口标准，开放数据库互联的标准)的标准接口。目的是给专门从事某种业务的数据处理分析，可以更快的入手，不必花更多时间去了解不同的存储系统的特定的接口功能。利用一个统一的标准接口，就可以访问更多不同的数据存储系统，完成不同存储系统上的数据处理。

随着大数据需求日益高涨，业界出现了很多各种各样的数据存储系统。因为大数据处理的需求和应用场景不同，有的只需要离线处理，允许一定的处理延迟。对于这种情况，可以采用批量处理的系统，如Map Reduce平台，通过调度批量任务来操作静态数据，缺点就是存在一定的延迟。有的则需要交互式处理，希望延迟尽可能的短，可以及时返回结果。对于这种情况就需要交互式处理系统，不能把多个请求放到一起批量处理，而是需要每来一个请求就及时处理。还有的需要随着数据量的增加进行增量处理，这种情况需要对原始数据集有修改操作，因此也就需要系统支持修改操作。还有的需要随着数据源源不断的到来，实现针对数据流的处理。

不同的应用场景需要采用不同的存储和处理系统。很多时候在同一个业务中，会同时有几种不同的需求，比如，在线交互处理与离线处理的混合。因此，如果能有一种架构可以将这些大数据处理系统进行融合，对外提供统一的接口，将会给业务开发人员带来很大的便利。

而现有的大数据处理系统都有自己特定的数据定义以及数据查询接口，比如：HBase、Cassandra、Hive、HDFS等，他们对外提供的数据处理接口各不相同。Hive主要支持有明确模式的结构化数据，数据定义和查询类似于SQL标准。HDFS可以支持无模式的非结构化数据，但是需要用户提供一个解析数据的类。如果用户只是离线批量处理，就可以考虑采用HDFS、Hive。如果用户需要对存储数据的修改更新操作，可以采用HBase、Cassandra等类似的NoSq1数据库(Not only SQL，针对大数据处理的、模式简单、限制低的数据库产品)。因此，不同的数据处理需要去调用不同的客户端接口，给业务开发人员带来了极大的负担。目前还没有一种可将不同架构和设计的存储系统融合在一起方法。

发明内容

针对现有技术中存在的技术问题，本发明提供了一种异构云存储系统及其数据处理方法，可以将异构的云存储系统融合起来，并对外提供统一的查询处理接口。

为了达到上述目的，本发明提供了一种异构云存储系统，技术方案如下：

接收单元，用于接收用户发送的数据库语句，所述数据库语句符合异构云存储系统中数据对象的语法；

解析引擎，用于解析所述数据库语句；

云存储器，用于接收解析后的操作指令并执行。

所述解析引擎包括公共解析引擎和二级解析引擎，所述公共解析引擎包括公共数据定义解析引擎和公共数据查询解析引擎，所述二级解析引擎包括对应于每个云存储器的二级数据定义解析引擎和二级数据查询解析引擎：其中，所述公共解析引擎用于将所述数据库语句解析为多条数据库语句，解析后的多条数据库语句分别发送给相应云存储器的二级解析引擎，所述数据库语句包括数据定义语句和数据查询语句；所述二级解析引擎用于接收所述公共解析引擎解析后的数据库语句，并对相应云存储器对应的数据定义语句和数据查询语句进行解析。

所述公共解析引擎具体用于：将所述数据定义语句和所述数据查询语句分别解析为多条数据定义语句和多条数据查询语句，并将解析后的多条数据定义语句和多条数据查询语句分别发送给相应云存储器的二级数据定义解析引擎和二级数据查询解析引擎。

所述二级数据定义解析引擎将相应云存储器的数据定义语句解析为可执行的数据定义操作指令；所述二级数据查询解析引擎将相应云存储器的数据查询语句解析为可执行的数据查询操作指令。

所述系统对外采用外观模式，用于对外提供统一的数据接口；对内采用适配器模式，用于适配统一接口与异构的各云存储器的内部接口。

本发明还提供了一种异构云存储系统的数据处理方法，主要技术方案如下：

接收用户发送的数据库语句，并对其进行解析；所述数据库语句符合异构云存储系统中数据对象的语法；

将解析后的操作指令发送到相应的云存储器中执行该操作。