[发明专利]一种基于二维映射表的数据处理方法及系统

权利要求书

1.一种基于二维映射表的数据处理方法，其特征在于，包括：

获取来源数据采集范围和数据采集方式；

根据数据采集方式以及数据库产品确定模型；

根据确定的模型建立数据的访问方式；

采用数据处理任务调度引擎、任务执行引擎、数据映射规则模型建立数据处理机制；

确定ETL处理脚本的实现工具并选定预设脚本工具实现数据处理。

2.如权利要求1所述的一种基于二维映射表的数据处理方法，其特征在于，所述获取来源数据采集范围和数据采集方式包括：

根据需求梳理平台涉及的数据源以及数据源的数据采集方式。

3.如权利要求1所述的一种基于二维映射表的数据处理方法，其特征在于，所述数据库产品选择对应的模型包括：

数据库产品选择对应大数据平台的HIVE、ORACLE、SQL SERVER、MYSQL模型。

4.如权利要求1所述的一种基于二维映射表的数据处理方法，其特征在于，所述根据确定的模型建立数据的访问方式包括：

业务人员或者系统运维人员通过PC端或者移动端访问设计。

5.如权利要求1所述的一种基于二维映射表的数据处理方法，其特征在于，所述数据映射规则包括：

建立create映射子表、delete映射子表、insert映射子表、update映射子表以及映射总表。

6.如权利要求5所述的一种基于二维映射表的数据处理方法，其特征在于，还包括：

ETL执行引擎在任务处理映射总表获取每个任务的处理步骤。

7.如权利要求6所述的一种基于二维映射表的数据处理方法，其特征在于，还包括：

根据处理步骤生成数据库能够识别的SQL语句集。

8.如权利要求1所述的一种基于二维映射表的数据处理方法，其特征在于，还包括：

数据实验室环境和生产环境保持一致，并且与生产环境物理隔离，计算存储资源相互独立，未经测试过的数据源配置通过数据实验室成功试验后投产运行。

9.一种基于二维映射表的数据处理系统，其特征在于，包括：

获取模块，用于获取来源数据采集范围和数据采集方式；

选择模块，用于根据数据采集方式以及数据库产品选择对应的模型；

设计模块，用于根据确定的模型建立数据的访问方式；

建立机制模块，用于采用数据处理任务调度引擎、任务执行引擎、数据映射规则模型建立数据处理机制；

输出模块，用于确定ETL处理脚本的实现工具并选定预设脚本工具实现数据处理。

10.如权利要求9所述的一种基于二维映射表的数据处理系统，其特征在于，包括：

用于存储计算机指令的至少一个存储器；

与所述存储器通讯的至少一个处理器，其中当所述至少一个处理器执行所述计算机指令时，所述至少一个处理器使所述系统执行：获取模块、选择模块、设计模块、建立机制模块以及输出模块。