[发明专利]一种通用的数据抽取转换方法

权利要求书

1.一种通用的数据抽取转换方法, 其特征在于通过分析各类数据抽取处理加载及调度方法，总结出数据抽取处理的公共特征，采用数据结构、抽取规则、抽取计划分别进行定义管理的方式，进行源表数据字典定义、目标表结构设置、抽取规则设置、抽取计划设置，其中，

数据字典定义：定义源数据所在的数据库信息、表信息、字段信息、表及字段的业务含义各元数据信息；

目标表结构设置：用来定义数据抽取处理后的结果表，包括：基本信息、索引信息、表及字段的业务含义各元数据信息；

抽取规则设置：使用拖拽方式实现抽取规则，其中需要用到的源表信息、目标表信息、规则信息均用业务语言描述，抽取规则设置内容包括：查询组件、修改组件、删除组件、扩展组件、血缘分析；引导抽取规则设置包括以下内容：

1）新建规则信息，设置内容包括：抽取类型、规则名称、规则描述、规则备注；

2）参数维护，维护整个规则的参数，定义的参数，在所有组件中都能使用，参数内容包括：参数名称、显示名称、参数描述、参数值类型、参数长度、备注；

3）抽取规则组件定义，根据业务需求逻辑规则，选择并定义多个抽取组件，组件信息包括：组件类型、组件名称、组件描述、是否已校验、是否使用、备注；

4）规则校验，定义完成抽取规则组件后，验证规则的正确性，优化提示；

抽取计划设置：抽取计划分为手动和自动抽取计划，自动抽取可自定义抽取频率，满足通常用到的各种抽取计划；

以上抽取转换过程都是通过二维关系表方式来存储，采用本地元数据管理方式，将业务加载过程中的字典、结构、规则、计划内容沉淀为元数据，每一步的元数据为下一步提供信息支撑，具体步骤如下：

1）准备数据库环境

在数据库中创建1个表空间和用户，如下表

用户/密码表空间表空间大小根据实际情况设定cqgj_dat200M

2）部署系统应用

①在建立的用户下导入已整理好的数据；

②获得系统程序：CQGJ；

③按默认选项创建域:cqgj _domain；

④启动startWebLogic.cmd，进入weblogic控制台：包括：

创建连接池cqgjpool，用户名/密码： 

创建数据源，如cqgj_ds，注意JNDIName应为cqgj_ds，使用cqgjpool接池；

⑤选择WebApplicationModules，选择cqgj应用进行部署。