[发明专利]一种异构数据源的数据转换方法及中间件

权利要求书

1.一种异构数据源的数据转换方法，其特征在于，包括如下步骤：

步骤1，添加源数据与目标数据，并为其配置数据源类型和连接信息；

步骤2，搭建数据转换流程，所述数据转换流程包括功能串联的数据接入适配、数据采集、加工转换、数据接出适配；

步骤3，通过任务调度的形式配置异构数据源基于数据转换流程的数据转换调度策略；

步骤4，根据数据转换调度策略执行异构数据源数的数据转换。

2.根据权利要求1所述异构数据源的数据转换方法，其特征在于，步骤1中，所述数据源类型包括结构化数据、半结构化数据与非结构化数据。

3.根据权利要求1所述异构数据源的数据转换方法，其特征在于，步骤1中，所述连接信息具体包括数据库型数据源的连接信息、接口型数据源的连接信息与文件型数据源的连接信息；

所述数据库型数据源的连接信息包括：数据库地址、数据库名称、实例名、用户名、密码；

所述接口型数据源的连接信息包括：接口地址、用户名、密码、自定义参数列表，其中，所述用户名、密码、自定义参数列表均可为空；

所述文件型数据源的连接信息包括：FTP地址、FTP用户名、FTP密码、端口、文件路径，其中，所述FTP地址、FTP用户名、FTP密码、端口均可为空。

4.根据权利要求1所述异构数据源的数据转换方法，其特征在于，步骤2中，所述搭建数据转换流程具体包括：

步骤2.1，配置源数据：选择源数据，选择配置需要采集的字段；

步骤2.2，配置数据采集策略：可选择增量或全量的采集方式，可根据字段配置条件过滤采集；

步骤2.3，配置数据加工转换策略：包括数据清洗和加工转换策略；

步骤2.4，配置目标数据：选择目标数据，配置源数据与目标数据的字段映射。

5.根据权利要求4所述异构数据源的数据转换方法，其特征在于，步骤2中，所述搭建数据转换流程具体还包括：

步骤2.5，测试转换流程：通过测试监控转换过程，确保流程设计正确。

6.根据权利要求1所述异构数据源的数据转换方法，其特征在于，步骤3中，所述通过任务调度的形式配置异构数据源基于数据转换流程的数据转换调度策略，具体包括：

新建调度任务，所述调度任务关联一个或多个数据转换流程；

当调度任务关联多个数据转换流程时，配置数据转换流程之间的先后执行顺序；

其中，所述调度任务包括实时调度任务与定时调度任务，所述调度任务支持配置全量和增量的数据抽取转换方式。

7.根据权利要求1所述异构数据源的数据转换方法，其特征在于，步骤4中，所述执行异构数据源数的数据转换具体为：采用基于Kafka消息队列技术执行异构数据源数的数据转换。

8.一种异构数据源的数据转换中间件，其特征在于，该中间件被实现如权利要求1-7中任一项所述的异构数据源的数据转换方法，其功能模块包括：

接入-接出数据配置模块，添加源数据与目标数据，并为其配置数据源类型和连接信息；

转换配置模块，搭建数据转换流程，所述数据转换流程包括功能串联的数据接入适配、数据采集、加工转换、数据接出适配；

调度配置模块，通过任务调度的形式配置异构数据源基于数据转换流程的数据转换调度策略；

转换执行模块，根据数据转换调度策略执行异构数据源数的数据转换。

9.根据权利要求8所述异构数据源的数据转换中间件，其特征在于，所述接入-接出配置模块包括：

接入数据源配置模块，选择一个或多个接入数据源，配置各数据源需要采集的数据属性；

接出数据源配置模块，选择一个或多个接出数据源，配置接入数据源与接出数据源的属性映射关系。

10.根据权利要求8所述异构数据源的数据转换中间件，其特征在于，所述转换配置模块包括：

数据映射配置子模块，用于配置接入、接出数据源的类型、连接信息、驱动信息；根据接入和接出数据源技术元数据，配置接入-接出属性映射关系；

数据接入适配子模块，根据数据映射子配置模块配置的接入数据源的类型、连接信息、驱动信息连接接入数据源；识别并读取数据源的技术元数据；根据技术元数据读取解析接入数据，将解析的数据传给数据转换子模块；

数据转换子模块：根据接入数据源的类型以及各属性数据类型，将数据接入适配子模块传过来的接入数据转换为Java支持且最佳适配的数据类型；然后将转换后Java数据类型的数据转换为接出数据源支持的数据类型；最后将转换后的数据传给数据接出适配子模块；

数据接出适配子模块：根据数据映射配置模块配置的接出数据源的类型、连接信息、驱动信息连接接出数据源；识别并读取数据源的技术元数据；根据数据映射配置模块配置的接入-接出属性映射关系，将数据转换器传过来的数据进行封装；将封装后的数据加载至接出数据源；

数据采集范围配置模块，用于根据数据属性配置条件过滤采集；

数据加工转换策略配置模块，配置包括数据清洗和加工转换在内的数据转换策略；

转换流程测试模块，通过测试监控转换过程，确保流程设计正确。