[发明专利]一种基于JDBC的数据库直查方法、装置及系统

说明书

本发明公开了一种基于JDBC的数据库直查方法、装置及系统，首先用户通过平台在数据集中通过数据处理节点操作数据源。系统会根据用户配置的数据源及处理节点动态生成适配各个关系型数据库的sql语句然后系统采用jdbc形式将sql提交到数据库，由数据库解析，处理并返回数据，中间过程所产生的内存消耗远远低于目前内存计算型查询引擎，且效率往往是内存计算型查询引擎的数倍。解决了Presto，Impala可高效对Hive，HBase等大数据产品进行快速检索，但是对传统关系型数据库效率低下的问题。

技术领域

本发明涉及数据库领域，特别涉及一种基于JDBC的数据库直查方法、装置及系统。

背景技术

数据库是存放数据的仓库。它的存储空间很大，可以存放百万条、千万条、上亿条数据。但是数据库并不是随意地将数据进行存放，是有一定的规则的，否则查询的效率会很低。当今世界是一个充满着数据的互联网世界，充斥着大量的数据。即这个互联网世界就是数据世界。数据的来源有很多，比如出行记录、消费记录、浏览的网页、发送的消息等等。除了文本类型的数据，图像、音乐、声音都是数据。

在数据库的发展历史上，数据库先后经历了层次数据库、网状数据库和关系数据库等各个阶段的发展，数据库技术在各个方面的快速的发展。特别是关系型数据库已经成为目前数据库产品中最重要的一员，80年代以来，几乎所有的数据库厂商新出的数据库产品都支持关系型数据库，即使一些非关系数据库产品也几乎都有支持关系数据库的接口。这主要是传统的关系型数据库可以比较好的解决管理和存储关系型数据的问题。

现有的系统如申请号：CN201710009824.9名称为一种统计数据的即席查询方法及系统所述，采用Presto，Impala等(内存计算型)对数据分析系统进行查询处理，Presto，Impala可高效对Hive，HBase等大数据产品进行快速检索，但是对传统关系型数据库效率低下。

发明内容

本发明的目的在于：提供了一种基于JDBC的数据库直查方法、装置及系统，解决了现有的系统采用Presto，Impala等对数据分析系统进行查询处理，Presto，Impala可高效对Hive，HBase等大数据产品进行快速检索，但是对传统关系型数据库效率低下的问题。

本发明采用的技术方案如下：

一种基于JDBC的数据库直查方法，包括数据库和数据分析平台，还包括以下步骤：

S1、用户通过数据分析平台对数据源进行操作；

S2、数据分析平台根据用户的操作生成对应的SQL语句；

S3、数据分析平台将步骤S2生成的SQL语句提交到数据库；

S4、数据库对数据分析平台提交的SQL语句进行解析，处理后返回数据到数据分析平台。

本方案区别于现有使用Presto引擎进行数据查询，省去了Presto集群和对Presto引擎进行操作，减小了服务器负担，基于JDBC的数据分析平台数据直查功能，用户在使用数据分析平台对数据源进行操作的过程产生不同数据库SQL，平台通过JDBC形式将SQL提交到客户数据库，利用数据库对SQL良好的处理能力实现应用层减少内存占用，快速检索数据的能力。

进一步的，所述步骤S1中用户通过数据分析平台在数据集中通过数据处理节点操作数据源。

进一步的，所述步骤S2中，数据分析平台根据用户的操作生成对应的SQL方言语句。

进一步的，所述SQL方言语句的生成包括以下步骤：

S5、数据分析平台上预录入数据库类型和与数据库类型匹配的SQL方言；

S6、步骤S1中用户通过数据分析平台对数据源进行操作时，数据分析平台根据数据源可以判断需要查询的数据库类型；