[发明专利]一种数据库和文件系统的访问方法和装置

说明书

本发明实施例公开了一种数据库和文件系统的访问方法和装置，该方法包括：根据元数据确定输入的标准结构化查询语言SQL语句中的表名和关键字对应的源数据库或源文件系统类型；当标准SQL语句中的表名和关键字的源数据库或源文件系统类型为关系数据库管理系统RDBMS或海量并行处理MPP系统时，将所述表名和关键字所在的标准SQL语句对应传输至RDBMS系统或MPP系统；当标准SQL语句中的表名和关键字的源数据库或源文件系统类型为分布式计算Hadoop系统或非关系型数据库NoSQL时，对所述表名和关键字进行解析，对应生成能够在Hadoop系统或NoSQL数据库运行的访问语句，并将所述能够在Hadoop系统或NoSQL数据库运行的访问语句对应地传输至Hadoop系统或NoSQL数据库；从RDBMS系统或MPP系统或Hadoop系统或NoSQL数据库接收访问处理结果。

技术领域

本发明涉及数据库管理技术及文件系统访问技术，尤其涉及一种数据库和文件系统的访问方法和装置。

背景技术

当前，现有的大数据处理平台普遍采用混搭架构，一般包括关系数据库管理系统(RDBMS，Relational Database Management System)、海量并行处理(MPP，MassiveParallel Processing)系统、非关系型数据库(NoSQL，Not Only SQL)和分布式计算Hadoop系统中的全部或者部分组件。

但是，对于上述四种数据库或文件系统进行访问时，所需要的访问方法各有不同，比如，常用的RDBMS系统都具有类似的存储方式和访问方式，数据处理一般采用结构化查询语言(SQL，Structured Query Language)，支持美国国家标准学会(ANSI，AmericanNational Standards Institute)SQL92标准；常用的MPP系统具有不同于RDBMS系统的存储方式和访问方式，数据处理采用Shell脚本和SQL语言，通常支持ANSI SQL92标准；常用的NoSQL数据库一般都是开源的，如HBase数据库是一种主要的列族NoSQL产品，数据保存在分布式文件系统(HDFS，Hadoop Distributed File System)中，HBase数据库采用专用的Shell脚本语言处理数据；而Hadoop系统作为大数据基础平台，仍然采用HDFS文件系统保存数据，数据处理采用Map/Reduce函数来处理，采用Java语言开发。

综上所述，为了应付不同的数据库或文件系统所对应的不同的访问方式，数据使用者可能需要同时编写SQL语句、Shell脚本和Map/Reduce程序来处理数据，导致数据使用者需要学习不同的访问技术对数据进行访问，从而增加了技术门槛高，不容易上手。

目前为了解决上述不同数据库和文件系统访问技术的差异，通常会将关系数据库数据迁移到Hadoop系统的大数据环境，从而进行相对统一的数据分析，但是迁移数据需要占用额外的输入/输出(IO，Input/Output)端口以及空间资源，仍旧无法提供一种能够让各种数据库和文件系统对使用者透明的跨异构平台访问数据方法。

发明内容

为解决上述技术问题，本发明实施例期望提供一种数据库和文件系统的访问方法和装置，能够使得使用者透明地对跨异构平台的数据库和文件系统进行访问。

本发明的技术方案是这样实现的：