[发明专利]一种多数据源数据转发器及其设计方法

说明书

本发明提出一种多数据源数据转发器及其设计方法，旨在实现在统一转发通信架构下，仅修改业务端逻辑。本方案主要按照三层结构：业务层，转发层，配置层，业务层主要完成按需数据转发：包含数据过滤，数据标准转化，数据筛选等流程；转发层主要完成数据源通信建立，数据通道建立，目标源通信建立，严格按照“source‑channel‑sink”的通信模式进行开发；配置层：主要完成数据源的配置，包含目标，数据源，定时任务，缓存大小等基础配置。通信框框架选择Netty，该技术为高性能、高可拓展性的异步事件驱动的网络应用程序框架，极大地简化了TCP和UDP客户端和服务器端开发等网络编程。

技术领域

本发明涉及一种多数据源数据转发器及其设计方法，属于数据转发器技术领域。

背景技术

由于工业互联网涉及领域多，覆盖子行业广，产生数据种类，数据标准也不统一，因此数据治理，数据共享和数据融合作为工业大数据的排头兵应用而生。如何跨行业的数据共享？如何解决多数据源的数据传输？如何高效可靠的进行数据传输？如何将业务数据和物联数据融合？这些都是急需解决的重点问题。上述为工业互联网费大数据业务在数据共享的问题和急需解决的困难。

主要解决跨行业，跨公司级的数据共享，多数据源数据可靠传输，业务和物联数据高效融合等问题，现有技术存在以下不足：

(1)如何实现工业大数据跨行业目标数据源标准的统一：由于工业大数据涉及行业和领域多，数据来源广，数据种类多乱杂情况突出

(2)如何实现数据转发由于网络带宽导致数据丢失后的数据补传方式：由于数据传输依赖于网络，因为在异常网络情况下如何降低和避免数据丢失至关重要

(3)如何保障数据在转发过程中的数据安全且不被恶意攻击：程序在公有云部署则有被恶意攻击的可能，如何保障数据传输安全，防止恶意攻击尤为关键

发明内容

本发明的目的在于克服现有技术中的不足，提供一种多数据源数据转发器及其设计方法，能够实现多数据源数据可靠传输。

为达到上述目的，本发明是采用下述技术方案实现的：

第一方面，本发明提供一种多数据源数据转发器，包括业务层，转发层，配置层和通信框架；

所述业务层用于按需数据转发：包含数据过滤，数据标准转化，数据筛选流程；

所述转发层用于完成数据源通信建立，数据通道建立，目标源通信建立，按照“source-channel-sink”的通信模式进行开发；

所述配置层用于完成数据源的配置；

通信框架为Netty。

第二方面，本发明提供了一种多数据源数据转发器的设计方法，包括以下步骤：

设置业务层，所述业务层用于按需数据转发：包含数据过滤，数据标准转化，数据筛选流程；

设置转发层，所述转发层用于完成数据源通信建立，数据通道建立，目标源通信建立，按照“source-channel-sink”的通信模式进行开发；

设置配置层，所述配置层用于完成数据源的配置；

选择Netty作为通信框架。

进一步的，设置配置层的方法包括：

配置层采用Scheduled缓存业务数据和数据类型，根据业务数据和更新频率为依据选择业务数据存储在内存还是缓存Redis上；

数据类型以集合形式MAP存储，基础结构为“sourceN-dataType”和“sinkN-dataType”。

进一步的，根据业务数据和更新频率为依据选择业务数据存储在内存还是缓存Redis上，包括：