[发明专利]一种数据源融合计算方法、组件及装置

说明书

本发明公开了一种数据源融合计算方法、组件及装置，在本技术方案中不需要预先创建外部表，只需依赖数据源连接信息就可以直接展开多数据源计算。首先，我们会解析用户的SQL语句；然后，根据解析结果只从源数据库中抽取用户业务中需要的数据；最后，将这些数据在DTC‑FUSION上展开融合计算，并将结果输出到用户指定的目标数据库。解决了在现有的技术中一般通过Spark进行数据融合计算，其支持的数据源种类受限，而且每个数据源的表数据是全量读取，然后在内存中计算，这样参与计算的数据量巨大，对内存和网络I/O的压力非常大的问题。

技术领域

本发明涉及数据库领域，特别涉及一种数据源融合计算方法、组件及装置。

背景技术

在数据库的发展历史上，数据库先后经历了层次数据库、网状数据库和关系数据库等各个阶段的发展，数据库技术在各个方面的快速的发展。特别是关系型数据库已经成为目前数据库产品中最重要的一员，80年代以来，几乎所有的数据库厂商新出的数据库产品都支持关系型数据库，即使一些非关系数据库产品也几乎都有支持关系数据库的接口。这主要是传统的关系型数据库可以比较好的解决管理和存储关系型数据的问题。随着云计算的发展和大数据时代的到来，关系型数据库越来越无法满足需要，这主要是由于越来越多的半关系型和非关系型数据需要用数据库进行存储管理，与此同时，分布式技术等新技术的出现也对数据库的技术提出了新的要求，于是越来越多的非关系型数据库就开始出现，这类数据库与传统的关系型数据库在设计和数据结构有了很大的不同，它们更强调数据库数据的高并发读写和存储大数据，这类数据库一般被称为NoSQL（Not only SQL）数据库。而传统的关系型数据库在一些传统领域依然保持了强大的生命力。

在现有的技术中一般通过Spark进行数据融合计算，Spark采用预先创建外部映射表的方式，实现对部分数据源的融合解析，达到业务处理的目的。但是其支持的数据源种类受限，而且每个数据源的表数据是全量读取，然后在内存中计算，这样参与计算的数据量巨大，对内存和网络I/O的压力非常大。

发明内容

本发明的目的在于：提供了一种数据源融合计算方法、组件及装置，解决了在现有的技术中一般通过Spark进行数据融合计算，其支持的数据源种类受限，而且每个数据源的表数据是全量读取，然后在内存中计算，这样参与计算的数据量巨大，对内存和网络I/O的压力非常大的问题。

本发明采用的技术方案如下：

一种数据源融合计算方法，包括源数据库、目标数据库和解析器，还包括以下步骤：

S1、解析器接收用户发送的SQL语句；

S2、解析器对接收到的SQL语句进行解析得到作业；

S3、解析器将步骤S2得到的作业发布到DTC-SERVER服务；

S4、DTC-SERVER服务管理并调度作业，提交作业到DTC-FUSION执行；

S5、DTC-FUSION执行接收到的作业，并将计算结果输出到目标数据库。

针对现有方案存在的问题，在本技术方案中不需要预先创建外部表，只需依赖数据源连接信息就可以直接展开多数据源计算。首先，我们会解析用户的SQL语句；然后，根据解析结果只从源数据库中抽取用户业务中需要的数据；最后，将这些数据在DTC-FUSION上展开融合计算，并将结果输出到用户指定的目标数据库。