[发明专利]一种多数据源数据转发器及其设计方法

权利要求书

1.一种多数据源数据转发器，其特征在于，包括业务层，转发层，配置层和通信框架；

所述业务层用于按需数据转发：包含数据过滤，数据标准转化，数据筛选流程；

所述转发层用于完成数据源通信建立，数据通道建立，目标源通信建立，按照“source-channel-sink”的通信模式进行开发；

所述配置层用于完成数据源的配置；

通信框架为Netty。

2.一种多数据源数据转发器的设计方法，其特征在于，包括以下步骤：

设置业务层，所述业务层用于按需数据转发：包含数据过滤，数据标准转化，数据筛选流程；

设置转发层，所述转发层用于完成数据源通信建立，数据通道建立，目标源通信建立，按照“source-channel-sink”的通信模式进行开发；

设置配置层，所述配置层用于完成数据源的配置；

选择Netty作为通信框架。

3.根据权利要求1所述的多数据源数据转发器的设计方法，其特征在于，设置配置层的方法包括：

配置层采用Scheduled缓存业务数据和数据类型，根据业务数据和更新频率为依据选择业务数据存储在内存还是缓存Redis上；

数据类型以集合形式MAP存储，基础结构为“sourceN-dataType”和“sinkN-dataType”。

4.根据权利要求3所述的多数据源数据转发器的设计方法，其特征在于，根据业务数据和更新频率为依据选择业务数据存储在内存还是缓存Redis上，包括：

业务数据大小以“1024M”为依据，更新频率以“10”分钟为依据，利用业务类型表达式：

如果业务数据1024M且更新频率10，则业务数据入Redis；

如果业务数据1024M且更新频率10，则业务数据入消息队列；

如果业务数据1024M且更新频率10，则业务数据入本地内存。

5.根据权利要求3所述的多数据源数据转发器的设计方法，其特征在于，所述方法还包括：添加soruce资源：

从dataSet中获取source，并将抽取数据源配置依次加载到soruce队列中，并采用抽象工厂模式针对不同通信类型创建预初始化通信池，使用kafka创建kafka source，使用tcp创建tcp source；

Source资源按照抽象工厂模式建立，根据dataSet中的source获取响应的通信连接。

6.根据权利要求5所述的多数据源数据转发器的设计方法，其特征在于，Source资源按照抽象工厂模式建立，根据dataSet中的source获取响应的通信连接，包括：

步骤一：创建source抽象工厂接口类；

步骤二：创建不同类型的通信实现类；

步骤三：实现各source实例。

7.根据权利要求5所述的多数据源数据转发器的设计方法，其特征在于，设置业务层的方法包括：

获取source基础实时数据，并在配置表中增加数据字典限制；

数据标准规范包括时间数据格式，浮点型数据格式，整型/长整型数据格式，货比格式，布尔型格式的转义，保障数据数据格式的一致性。

8.根据权利要求7所述的多数据源数据转发器的设计方法，其特征在于，所述方法还包括添加channel资源：

channel设计兼容内存，消息队列和文件管道，分别对应“Memory Channel”，“MQChannel”和“File Channel”，其中MQ主要包括：kafka，activemq，rabbitmq，rocketmq；

该channel全部进行组件化封装，在配置中选择对应数据通道。