[发明专利]用于数据库的数据集成分发方法和数据集成分发装置

说明书

本发明提供了一种用于数据库的数据集成分发方法，包括连接、识别并定位数据源计算机的数据库实例；获取数据源计算机的数据源和操作记录；将数据源和操作记录存储到自身的集成式数据库；将数据源和操作记录发送到目标计算机；目标计算机接受数据并执行操作，数据集成分发完成；本发明还提供了承载所述方法的数据集成分发装置，包括主板、CPU、内存、机械硬盘、网络接口、输入设备、输出设备和NGFF接口的固态硬盘；固态硬盘通过NGFF接口与主板连接，作为数据集成分发装置的快速存储器。本发明不需要数据源和目标计算机安装任何软件或代理程序，因此集成分发速率快、数据安全性好、不占用数据源和目标计算机系统任何硬、软件资源。

技术领域

本发明属于计算机通信领域，具体涉及一种用于数据库的数据集成分发方法和数据集成分发装置。

背景技术

随着国家经济技术的发展和人们生活水平的提高，通过数据的共享、利用数据库的数据集成和分发技术已经应用到信息与通信领域的各个方面，成为了人们日常生活中必不可少的部分。

目前，现有的在各行业内的应用计算机系统拥有多种数据源，数据源的分布位于不同应用环境且彼此独立运行，数据源采用的数据库软件基础平台也各式各样，既有应用于结构化的数据库，也有应用于非结构化数据GIS信息的数据库，还有应用于MPP并行调度任务的分布式数据库；这些数据源在生产运行过程中会产生各种数据集成与分发需求，有的需求需要跨多个数据源之间进行数据归集、汇总、复杂查询等。

在计算机技术还没有高度发展时，一般采用人工的方法进行数据的分发：使用人将需要分发的数据在数据源计算机中的数据库进行查询、复制和导出，然后采用移动存储器等方式将数据人工带到目标计算机上，再在目标计算机上操作数据库进行数据的复制、导入和更新。如此的数据分发方法，不仅费时费力，而且数据安全性能极差，极易引起关键数据的错误、数据的丢失或者数据的同步滞后导致数据不完整，信息不一致。

现在，已有的数据集成分发技术看似解决了上述的问题：传统方法采用托管代理Manager-Agent的体系结构；Agent是指安装在被管理的数据源计算机系统上的一个或是多个代理程序，它负责采集数据源计算机上的一系列数据查询信息，并把查询状态和查询结果传递给Manager一端。尽管现有的解决方案宣称这些代理程序Agent将以较低的优先级和较少的资源消耗运作，还是该种解决方案依然无法避免这样一个问题：那就是当业务连续性要求高的生产应用系统发生性能危机或长事务类型等复杂的数据查询计算时，运维人员无法排除代理软件Agent对生产系统的影响。管理软件代理程序的存在，干扰了运维人员对生产系统的维护和性能问题的诊断，造成数据集成分发过程容易被代理程序故障导致任务中断且不可逆；而且现有的Manager-Agent体系结构，一定需要在数据源计算机上安装代理程序Agent，这为数据源计算机和数据源计算机所在的系统带来了安全隐患；而且代理程序Agent在数据的集成与分发个过程中，其势必会要占用部分的数据源计算机的硬件和软件资源，从而导致数据的集成和分发速率较慢。

发明内容

本发明的目的之一在于提供一种数据集成与分发速率快、数据安全性好、不占用数据源计算机和目标计算机系统任何硬件和软件资源的用于数据库的数据集成分发方法。

本发明的目的之二在于提供一种承载所述的用于数据库的数据集成分发方法的数据集成分发装置。

本发明提供的这种用于数据库的数据集成分发方法，包括如下步骤：

S1. 数据集成分发装置根据数据源计算机的IP地址及管理员权限，连接、识别并定位数据源计算机的数据库实例；

S2. 数据集成分发装置读取数据源计算机的在线日志或归档日志并解析，提取导致数据库中数据变化的操作记录，并获取数据源计算机的数据源和相应的操作记录；

S3. 数据集成分发装置将步骤S2获取的数据源和相应的操作记录存储到自身的集成式数据库中；