[发明专利]一种跨平台异构数据库的数据采集与分发系统

说明书

技术领域

本发明涉及一种电子信息领域，尤其是涉及跨平台异构数据库的数据采集与分发系统。

背景技术

计算机网络是一个复杂的异构体系，Windows桌面系统、UNIX工作站、Linux系统、嵌入式终端，不同的应用环境要求不同的网络传输质量，网络规模的动态变化等等，这些构成了网络的异构性和复杂性。而在多数网络系统中，信息的实时获取是非常关键的问题，不同的源地址将信息发布出来，相应地，网络中对此感兴趣的节点获取该信息。尤其是在实时性要求和任务紧急的系统中，要能做到“在正确的时间、正确的地点获取正确的数据”，对系统的要求是非常高的。因此，异构的计算机网络是不可避免的，在复杂的网络环境中实现高效的网络通信，是分布式系统开发必须面对的问题。

由于历史原因，大多数企事业单位可能存在着不止一种数据库平台，每个业务系统都在各自的系统及数据安全边界内部孤立地运行着。如果需要进行业务数据的共享，就要用到异构数据库的数据采集与分发。即使是同一种数据库平台，一旦分布在不同的服务器上或者具有不同的安全边界，都需要对数据共享的实现手段做出合理的设计。

一般跨平台的数据采集与分发是指在不同的平台间，将源数据库中指定表的数据采集并分发到目的数据库指定的表中。通常实现跨平台数据的采集与分发主要有三种办法：采用数据库厂商提供的专业工具，自主开发迁移程序和采用手工迁移。这些方法虽专业工具功能比较全面，但价格较高，且使用面有限；自主开发的迁移程序一般只支持特定的数据库之间的采集与分发；手工迁移是前两种方法的有益补充，但效率较低，且对DBA要求较高。

发明内容

本发明解决的技术问题是提供一种通用的方法，使用与不同的数据库，支持各种跨平台的数据采集与分发的跨平台异构数据库的数据采集与分发系统。

本发明解决其技术问题所采取的技术方案是：一种跨平台异构数据库的数据采集与分发系统，包括依次顺序传递的一个读取数据配置模块、一个周期结构转换模块和一个数据生成模块，其中所述周期结构转换模块由循环的原始数据源提取模块、数据结构映射模块和返回目标数据源模块组成。

读取数据配置模块为系统第一部分，根据系统要求定义不同数据源，确定数据源的类型；指定数据表，以视图的形式表现出来；映射数据源的结构，定义其属性；通过筛选条件针对数据表、视图等对象详细列出某条记录。

原始数据源提取模块，通过选择原始数据源；根据数据配置、筛选条件准备数据；把数据表中所储存的结构数值转化成系统能够识别的JAVA对象。

数据结构映射模块，根据原始数据提取模块所准备的数据信息进行转换，主要是对数据的属性进行变更，数据转换时可以是一对一的转换，也可以是多对一的转换。

返回目标数据源模块，通过对原始数据源的选择，根据数据配置、筛选条件进行保存数据，把原始数据源提取模块中已经映射好的JAVA对象储存到数据列表中。

周期结构转换模块作为整个系统的一个小循环，根据转换的数据进行保存，当生成目标数据后，系统会再次返回原始数据源提取模块，进行筛选。这三个模块构成一个小周期进行循环。

数据生成模块，通过周期结构转换模块内循环模块的转换，最终生成目标数据，进入目标数据库，数据转换完成。

采用上述结构后，可以实现跨平台异构数据库的数据采集与分发，同时数据的提供者可以根据自己的需求控制数据的范围、方式和程序代码的实现理念，符合企业在数据共享方面的现实安全考虑，具有良好的应用前景。

附图说明

图1是本发明的结构示意图；

图2是本发明的周期结构转换模块内部循环模块示意图。

图中：1、读取数据配置模块  2、周期结构转换模块  3、数据生成模块2-1、原始数据源提取模块  2-2、数据结构映射模块  2-3、返回目标数据源模块

具体实施方式

图1和图2所示一种跨平台异构数据库的数据采集与分发系统，包括依次顺序传递的一个读取数据配置模块1、一个周期结构转换模块2和一个数据生成模块3，其中所述周期结构转换模块2由循环的原始数据源提取模块2-1、数据结构映射模块2-2和返回目标数据源模块2-3组成。

读取数据配置模块为系统第一部分，根据系统要求定义不同数据源，大致分四部分来实现，首先定义不同数据源，确定数据源的信息；其次指定数据表，并用视图的方式展示出来；再次定义结构属性；最后筛选条件，针对对象详细列出某条记录。该模块是系统运行的前提，在此基础上，根据指定的数据源信息、属性进行数据的提取工作