[发明专利]数据融合平台

说明书

本发明涉及企业数据实时交换技术领域，具体涉及一种数据融合平台，其中包括:数据发布模块，所述数据发布模块与数据源连接，用于获取数据；策略分配模块，所述策略分配模块实现多源端与多目标端间数据按指定方式流通；数据加工模块，所述数据加工模块实现数据加工、清洗、转换、编排、拆表、和表；订阅模块，所述数据订阅模块与目标终端连接，用于输出数据。本发明基于统一的数据交换平台实现了多源端与多目标端间数据实时交换能力，并通过事务处理机制保证交换的数据一致性。其状态监控技术解决了数据交换过程的状态监控，避免了数据的延迟，保证了传输的畅通，跨网段情况下的大数据量的交换能力强。

技术领域

本发明涉及企业数据实时交换技术领域，具体涉及一种数据融合平台。

背景技术

数据服务交换和服务工具作为一体化数据治理和共享平台一个重要组成部分,包含了数据采集服务、数据交换服务、数据加工服务、数据共享服务等模块。数据交换和服务工具采用面向微服务的插座式架构，实现数据交换、数据整合、数据复制、数据传输、数据共享等功能。支持跨组织、跨网段、跨区域、上下级组织之间海量数据交换和服务、适应基于前置机、逻辑隔离的数据交换和服务等多种应用场景，数据总线能够确保数据完整性、安全性、可靠性和传输性能，能够提升数据质量与及应用价值，为数据需求部门提供准确可用的数据。

传统的数据交换解决方案是基于多个模块/产品集成实现跨网段数据交换，当一个环节出现问题时易造成数据不一致；当采用异步交换方式时，异步的交换机制造成IO等系统资源占用、文件锁死、堵塞挂起等现象；当采用同步的交换方式时，同步交换机制在交换数据量比较大，需要传输或者装载时间比较长时，易造成通讯挂起、堵塞等现象。

发明内容

本发明提供一种数据融合平台，基于统一的数据交换服务实现了端对端的数据交换。通过事务处理机制保证交换的数据一致性。其状态监听器技术解决了分布式传输过程的状态感知，避免了需要长时间处理情况下的通讯挂起现象，保证了传输的畅通，跨网段情况下的大数据量的交换能力强。

为了达到上述目的，本发明提供如下技术方案：一种数据融合平台，其包括:数据发布模块，所述数据发布模块与数据源连接，用于获取数据；数据加工模块，所述数据加工模块与所述数据发布模块连接，用于对获取数据进行数据加工包含数据清洗、过滤、加密、编排、拆表、和表等；策略分配模块，所述策略分配模块与所述数据加工模块连接，用于对加工后的数据进行追加更新策略，定义数据流向；数据订阅模块，所述数据订阅模块与目标终端连接，用于输出数据。

优选的，平台架构包括：数据接入层，所述数据接入层包括数据库、数据接口、消息队列、文件、SQL、ZCBUS SDK、第三方插件；容器服务层，所述容器服务层包括：数据发布服务、ETL服务、数据对比服务、数据订阅服务、自检服务、系统解耦服务；数据基础层，所述数据基础层包括：MYSQL、KAFKA缓存数据存储层。

优选的，所述数据接入层中的数据库数据捕获，DDL语句转换，包括创建表、修改表、删除表，以及表上约束、索引。

优选的，所述数据加工模块包括对获取数据进行字符串转换、字段赋值、时间类转换、数据比对与翻译、数学运算、身份证格式转换。

优选的，交换过程中的数据质量检查，根据数据逻辑判断规则，将干净的数据装载到目标中，将判断有问题的数据路由到数据库表或者数据文件中。

优选的，所述数据逻辑判断包括：格式匹配检查、字符串逻辑检查、内容为空检查、重复记录检查、范围内检查、表表外键关联检查、逻辑检查、复合逻辑检查、自定义逻辑检查。

优选的，SQL语句验证在任何数据库，任何节点中执行。

优选的，数据共享模型溯源；针对每个共享出去的表，ETL转换模型，以及应用的目的地，进行表应用流程溯源，保证每个表从任何一个节点，均能找到其来源以及预计输送目标；