[发明专利]数据融合平台

权利要求书

1.一种数据融合平台，其特征在于,包括:

数据发布模块，所述数据发布模块与数据源连接，用于获取数据；

数据加工模块，所述数据加工模块与所述数据发布模块连接，用于对获取数据进行数据加工包含数据清洗、过滤、加密、编排、拆表、和表等；

策略分配模块，所述策略分配模块与所述数据加工模块连接，用于对加工后的数据进行追加更新策略，定义数据流向；

数据订阅模块，所述数据订阅模块与目标终端连接，用于输出数据。

2.根据权利要求1所述的数据融合平台，其特征在于，平台架构包括：

数据接入层，所述数据接入层包括数据库、数据接口、消息队列、文件、SQL、ZCBUSSDK、第三方插件；

容器服务层，所述容器服务层包括：数据发布服务、ETL服务、数据对比服务、数据订阅服务、自检服务、系统解耦服务；

数据基础层，所述数据基础层包括：MYSQL、KAFKA缓存数据存储层。

3.根据权利要求2所述的数据融合平台，其特征在于：所述数据接入层中的数据库数据捕获，DDL语句转换，包括创建表、修改表、删除表，以及表上约束、索引。

4.根据权利要求3所述的数据融合平台，其特征在于：所述数据加工模块包括对获取数据进行字符串转换、字段赋值、时间类转换、数据比对与翻译、数学运算、身份证格式转换。

5.根据权利要求4所述的数据融合平台，其特征在于：交换过程中的数据质量检查，根据数据逻辑判断规则，将干净的数据装载到目标中，将判断有问题的数据路由到数据库表或者数据文件中。

6.根据权利要求5所述的数据融合平台，其特征在于：所述数据逻辑判断包括：格式匹配检查、字符串逻辑检查、内容为空检查、重复记录检查、范围内检查、表表外键关联检查、逻辑检查、复合逻辑检查、自定义逻辑检查。

7.根据权利要求6所述的数据融合平台，其特征在于：SQL语句验证在任何数据库，任何节点中执行。

8.根据权利要求7所述的数据融合平台，其特征在于：数据共享模型溯源；针对每个共享出去的表，ETL转换模型，以及应用的目的地，进行表应用流程溯源，保证每个表从任何一个节点，均能找到其来源以及预计输送目标；

实现数据多对一，一对多，多对多的数据复制，消息合并，数据合并，增加辅助消息功能。

9.根据权利要求8所述的数据融合平台，其特征在于：在数据溯源的过程中，根据设置条件，找到数据信息的变化轨迹；在缓存中，检索某些具体数据变化轨迹，以及变化轨迹的数据以及存放到那些目标对象中。