[发明专利]一种数据批量转移系统及其方法

说明书

技术领域

本发明涉及一种数据转移系统和方法，尤其涉及一种数据批量转移系统及其方法。

背景技术

目前ETL(Extraction-Transform-Load，即抽取-转换-加载)数据抽取的普遍方法都是以目标数据需求为目标，在源数据库中抽取符合转换规则的可用数据资源，分析现有源系统中可用数据资源和目标数据需求之间的关系，并制定数据抽取全过程，按照固定的抽取过程编写ETL代码，完成抽取。

这种方式的优势在于实现简单，开发迅速，缺点在于代码专用，只为某一种数据需求开发的功能，一旦数据需求发生变化，则该专用代码则无法继续提供变化的目标数据，需要开发人员对整个程序进行重新编译。在数据抽取和需求变化比较频繁的系统变更阶段，开发人员的开发量很大，由于各个数据转移的模式基本相同，使得开发人员重复工作，效率低下。

以某金融机构公共参数批量转移为例，每日公共参数库要给16个子系统下发多达60多张公共参数表，且基本都是带了一定的业务规则，将数据源复制到目标数据库的类似过程，这些过程虽有差别，但重合的地方很多，且转移前后其核心差别主要体现在：1、触发条件；2、业务口径；3、抽取后续处理。同时这么多数据接口的部署和调度也成为了一个难题，非常复杂。

发明内容

本有鉴于此，发明的目的在于提供一种用于数据批量转移的系统及其方法，将分析数据抽取的七个基本要素即转移触发条件、预处理、输入、输出、转换规则、处理过程以及来自子系统的后续处理请求模块化，以便达到在数据抽取、数据转移的过程中，应用批处理的思想，进行数据驱动而非过程驱动；建立松耦合、可复用的过程配置机制，以便于管理和控制任务调度，应对变化频繁的业务口径及数据结构，以有效地解决现有的数据接口复杂、部署和调度不便、数据转移需求经常变化的问题。

为实现上述目的，本发明提供一种数据批量转移系统，包括：

触发模块，用于判断是否满足触发条件，如果满足则生成并发送任务描述符至中间转换模块，否则继续读取源数据库中的指标；

转换模块，用于根据任务描述符从源数据库读取源数据并对其进行处理以生成目标数据，根据任务描述符确定目标数据参数并将目标数据和目标数据参数发送至写入模块；

写入模块，将目标数据按照预定数据格式写入目标数据库。

优选地，在本发明的系统中，所述中间转换模块包括：

预处理模块，用于检测系统是否满足执行数据批量转移的条件；如果满足，则进行数据处理，否则发送报警信号；

源数据接口模块，根据任务描述符确定源数据参数并将源数据参数发送至处理器；

目标数据接口模块，根据任务描述符确定目标数据参数并将目标数据参数发送至写入模块；

转换规则模块，根据任务描述符确定转换规则并发送至处理器；

处理器，根据源数据参数从源数据库读取源数据；根据转换规则对源数据进行处理生成目标数据，将目标数据发送至写入模块。

优选地，在本发明的系统中，所述处理器进一步被配置为响应来自子系统的数据请求，将目标数据发送至该子系统。

优选地，在本发明的系统中，所述源数据参数包括源数据表属主、源数据表名、源数据表套数。

优选地，在本发明的系统中，所述目标数据参数包括目标数据表属主、目标数据表名、目标数据表套数。

优选地，在本发明的系统中，所述转换规则选自由以下各项组成的组：数据规范化、填写缺省默认值、数据集成、数据分组、数据关联、数据合并、排序和函数运算。

本发明还提供一种数据批量转移方法，包括以下步骤：

A、判断是否满足触发条件，如果满足则生成并发送任务描述符，否则继续读取源数据库中的指标；

B、根据任务描述符从源数据库读取源数据并对其进行处理以生成目标数据，根据任务描述符确定目标数据参数；

C、根据目标数据参数将目标数据按照预定数据格式写入目标数据库。

优选地，在本发明的方法中，步骤B进一步包括以下步骤：

检测系统是否满足执行数据批量转移的初始化条件；如果满足，则进行后续步骤，否则发送报警信号

根据任务描述符确定源数据参数；

根据任务描述符确定目标数据参数；

根据任务描述符确定变换规则；

根据源数据参数从源数据库读取源数据；

根据变换规则对源数据进行处理生成目标数据。

优选地，在本发明的方法中，所述方法还包括以下步骤：

响应子系统发送的数据请求，将目标数据发送至所述子系统。