[发明专利]跨数据源查询装置和跨数据源查询方法

说明书

技术领域

本发明涉及数据查询领域，具体而言，涉及一种跨数据源查询装置和跨数据源查询方法。

背景技术

随着企业信息化应用的深入，企业内部的信息系统由早期的部门单一业务系统慢慢发展到多业务系统共存。同时，管理层需要的报表数据往往是综合性较强的数据，我们往往难以从单一业务系统取得所有相关数据，此时，我们就需要从不同业务系统中查询数据，再把这些不同来源的数据经过加工处理，组织在同一张报表中。从技术角度来说，每个业务系统对应一个数据源，多业务系统的查询，即是跨数据源查询。

针对跨数据源查询问题，现有以下方案：

1、系统集成。

该方案是在企业内部建设系统集成平台，使各业务系统实现互联互通，且实现数据的抽取、加载。抽取数据到统一的数据仓库中，再在此基础上实现综合的查询分析。

该方案属于重量级方案，企业投入建设成本较高、建设周期较长。如果只是针对上述做跨业务系统综合性报表而言，过于重量级。

2、连接不同数据源，分别加载数据到内存，处理加工后，组织成完整报表。

该方案适用于数据量较小、且数据处理逻辑较简单的情况。而对于综合性分析报表，其涉及的原始数据量往往较大。所以该方案并不具有通用性。

因此，需要一种新的技术方案，使企业在做跨数据源查询时，能够拥有一套建设成本低、建设周期短，查询数据量大、数据逻辑结构多样、通用性强的轻量级技术方案，保证企业可以高效的解决大数据量及应用服务器压力过大的问题。

发明内容

本发明所要解决的技术问题在于，提供一种新的技术方案，使企业在做跨数据源查询时，能够拥有一套建设成本低、建设周期短，查询数据量大、数据逻辑结构多样、通用性强的轻量级技术方案，保证企业可以高效的解决大数据量及应用服务器压力过大的问题。

有鉴于此，本发明提出了一种跨数据源查询装置，包括：主数据源选择模块，在多个数据库中选择一个数据库作为主数据源；第一查询模块，在所述多个数据库中除所述主数据源的其他数据库进行数据查询，得到查询结果数据；数据获取模块，将所述其他数据库的查询结果数据获取到所述主数据源中；第二查询模块，在主数据源中进行数据查询，得到最终查询结果数据。应用此技术方案，我们首先设定一个主数据源，然后循环的把从其他数据源查询出来的数据复制到主数据源，最后统一从主数据源查询数据。通过这种方式，我们就不用自己实现标准的数据处理逻辑，充分利用数据库来进行数据处理，已有的数据库可以对各自存储的大量原始数据进行高效的查询，最后需将其他数据库得到的少量结果数据汇总进行最终查询，即可得到最终需要的结果数据，整个过程中，各个数据库分摊了处理压力，在主数据源上进行的最终查询压力减轻，实现了对大量原始数据的高效查询，且充分利用了现有的数据库，不需要进行过长时间、过高成本的建设。

在上述技术方案中，优选地，还包括：数据库连接模块，对于所述其他数据库中与所述主数据源类型相同的第一数据库，通过数据库直连方式，连接所述第一数据库与所述主数据源，以及对于所述其他数据库中与所述主数据源类型不同的第二数据库，按特定类型接口连接所述第二数据库与所述主数据源。在此技术方案中，对比源数据源与目标数据源的数据库类型是否相同，提供了两种数据连接方式：源与目标数据库类型相同时，使用数据库直连方式；源与目标数据库类型不同时，使用特定类型的连接方式，比如JDBC方式，保证了各个数据库的结果数据都可以顺利汇总到主数据源上。

在本技术方案中，数据库直连方式是指，在数据库层面，利用数据库本身机制，建立同类型数据库间的连接，以实现数据的复制。这种方式利用数据库本身机制，不会占用应用服务器的内存。同时，相对于JDBC方式，在处理大数据量时更高效。并且，考虑到企业信息化的现实，基于建设成本以及维护方便考虑，企业往往倾向于在建设多业务系统时使用相同类型的数据库，这就给数据库直连方式提供了更大的发挥空间。

在上述技术方案中，优选地，还包括：所述数据获取模块为所述主数据源与所述第一数据库建立远程连接，通过所述远程连接获取所述第一数据库的查询结果数据，以及在所述主数据源上创建临时表，在所述临时表中插入所述第二数据库的查询结果数据。应用此技术方案，在其他数据库与主数据源完成连接后，提供了供主数据源获取了除所述主数据源以外的其他数据库的查询结果数据的方案。

在上述技术方案中，优选地，还包括：数据清理模块，在得到所述最终查询结果数据后，删除所述远程连接和所述临时表。应用此技术方案，把数据查询的中间过程产生的临时结构都清理干净，为数据库节省了很大的空间。