[发明专利]一种异构数据库之间多线程数据交换的方法

说明书

技术领域

本发明涉及数据库数据存储领域，尤其涉及一种异构数据库之间多线程数据交换的方法。

背景技术

数据库数据转换和导入导出在数据库领域中是经常需要使用的操作。传统的方式是采用数据库厂商专用的工具。这些工具在异构数据库之间转换和导入导出数据时通常具有以下不足：

1、仅针对单一数据库，无法或很难实现异构数据库之间导入或导出，性能不高，灵活性差。很难应用于数据库仓库领域。

2、对于异构数据库之间数据类型转换自定义功能的支持较弱或不支持。

3、配置繁琐，尤其在异构数据库导入导出场合，需要安装多种数据库客户端，每个客户端都需要单独配置，配置不统一，脚本编写麻烦。

4、有些工具针对于特定操作系统，无法跨操作系统平台。

发明内容

本发明本发明为克服上述的不足之处，目的在于针对异构数据库之间大量数据处理的需要，提供一种异构数据库之间多线程数据交换的方法，采用相互独立的多线程读写方式通过对数据缓冲池的应用，使系统可以在不同操作系统、不同数据库之间做到数据高效率转换和导入导出高速度，解决了现有技术中存在的问题。

本发明是通过以下技术方案达到上述目的：一种异构数据库之间多线程数据交换的方法，包括读线程、写线程和监控管理线程，读线程负责通过源对象接口从不同操作系统、不同类型的源数据库读取数据，源数据库数量可以是1个或多个，也可以是文件类型，并以数据包形式放入数据缓冲池数据队列头部；写线程负责从数据缓冲池数据队列的尾部读取数据，并通过目标对象接口写入不同操作系统、不同类型的目标数据库，目标数据库数量可以是1个或多个，也可以是文件类型；监控管理线程负责整体系统的运行管理；其实施包括如下步骤：

1)读入配置参数，包括读写数据包大小、数据转换规则、源数据库信息、目标数据库信息、日志文件信息和读线程、写线程启动数。

读入配置参数也可以将配置信息写到配置文件中，然后指定配置文件路径，通过读入文件的方式获得。一般情况下，数据包大小为2～10M之间。

数据转换规则是针对复杂类型的转换和用户特殊的转换规则，用户根据自身情况进行定制，如某数字类型字段在转换中保持的小数点位数，指定对应的转换类型数据。对于复杂数据转换还可以指定函数来处理，如对于oracle的date类型分别赋值给一个db2的date字段和time字段。这个函数实现可以用java语言，也可以指定为perl脚本函数。

源数据库信息和目标数据库信息包括数据库url、操作系统、数据库类型、数据库名称、用户名、密码。

2)按照步骤1)所述配置参数要求，启动监管管理线程、读线程和写线程；

3)读线程根据配置参数情况生成一个或多个线程，通过源对象接口连接源数据库，将获取的数据分批放入到缓冲池中，当缓冲池未满时数据被加入到缓冲池中的数据队列的头部，当缓冲池满了的时候，阻塞读线程；

4)写线程根据配置参数情况生成一个或多个线程，连接目标数据库，从缓冲池的数据队列尾部获取数据并通过目标对象接口写入目标数据库，若缓冲池无数据则阻塞写线程；

5)监控管理线程负责监控读写线程的工作情况，并记录日志，供调优分析，并根据调优分析结果动态调整读线程和写线程的比例和数量；

6)如果所有的读线程发现没有数据可读，并且数据缓冲池中数据队列长度为零，此时系统结束读线程和写线程，进行数据清理，监控管理线程停止整个过程。

本发明的有益效果：本发明支持异构数据库之间进行数据类型转换和处理工作，为多种数据库提供统一访问接口，屏蔽不同数据库之间数据接口差异。为增加数据处理效率，在系统中设计了多线程读写和数据缓冲池，避免传统一边读一边写相互影响的问题，既保证了系统效率又减小了系统开发工作量。部署维护方便，不依赖任何第三方应用程序，可独立运行。

附图说明

图1：一种异构数据库之间多线程数据交换的方法示意图。

具体实施方式

下面结合附图通过实施例对本发明作进一步阐述：