[发明专利]数据分发方法、系统和计算机设备

权利要求书

1.一种数据分发方法，其特征在于，应用于数据分发系统，包括以下步骤：

参数配置步骤，设置一分发管理装置的参数并启动一数据分发装置，所述分发管理装置根据所述参数生成入消息阵列的消费者、出消息阵列的生产者和对应的数据映射表；

数据流入步骤，所述分发管理装置将流式数据源与一数据模型表进行匹配并获得所述流式数据源的各字段，根据所述消费者将所述流式数据源通过所述入消息队列进入所述数据分发装置；

数据分发步骤，所述数据分发装置根据所述数据映射表选取所述流式数据源中的对应所述字段，并将对应所述字段根据所述生产者发送至对应数据服务模块。

2.根据权利要求1所述的数据分发方法，其特征在于，所述参数配置步骤中的参数包括入消息队列的数据模型、出消息队列元数据和每个数据映射模块的映射方式。

3.根据权利要求1所述的数据分发方法，其特征在于，所述数据流入步骤中具体包括：

所述流式数据源通过所述入消息队列的分片进入所述数据分发装置的分发器，所述分发器与所述分片一一对应。

4.根据权利要求1或3所述的数据分发方法，其特征在于，所述数据分发步骤，具体包括以下步骤：

数据接收步骤，将所述流式数据源根据预设分发目标数推送至对应数量的分发模块；

字段提取步骤，各所述分发模块的数据映射模块根据所述数据映射表对所述流式数据源进行字段提取；

数据发送步骤，将提取的所述字段根据所述生产者通过所述出消息队列发送至所述数据服务模块。

5.根据权利要求4所述的数据分发方法，其特征在于，所述分发器与所述分发到分发模块之间的连接方式包括:

在分布式环境下，所述分发器与所述分发模块之间通过TCP协议进行通信；

在单机环境下，通过观察者模式进行所述分发器与所述分发模块之间的异步通信。

6.根据权利要求1-5任意一项所述的数据分发方法，其特征在于，

所述分发器和所述分发模块每经过一设定时间记录一次状态，在向下游发送所述字段的同时，所述分发器和所述分发模块将发出的所述字段写入到同一个缓存区；

在分布式环境下，所述分发器在多次重试失败后，由所述分发管理装置分配并启动一个新的所述分发单元，所述分发器将缓存区中的数据重新发送给新的所述分发单元。

7.一种数据分发系统，应用上述权利要求1-6任意一项所述的数据分发方法，其特征在于，包括分发管理装置、数据分发装置、入消息队列模块和出消息队列模块，其中：

所述分发管理装置存储有数据模型表、数据映射表和消息队列元数据；

所述数据分发装置包括分发器和分发模块；

所述分发管理装置根据所述数据模型表与流式数据源匹配，并将所述流式数据源通过所述入消息队列模块进入所述分发器；

所述分发模块根据所述数据映射表对所述流式数据源进行提取，并将提取后的所述流式数据源根据所述消息队列元数据通过所述出消息队列模块发送至一数据服务模块。

8.根据权利要求7所述的数据分发系统，其特征在于，所述分发器和所述分发单元设置为一个或多个；

所述分发器与入消息队列模块中的分片一一对应，将所述分片中的所述流式数据源对应输送至所述分发器；

所述分发模块的个数与预设分发目标数相适应，所述分发模块根据对应的分发目标对所述流式数据源进行处理，并将处理后的所述流式数据源传输至对应的所述数据服务模块。

9.根据权利要求8所述的数据分发系统，其特征在于，所述分发模块包括数据映射单元和数据发送单元，其中：

所述数据映射单元根据所述数据映射表对所述流式数据源的数据模型转换成出消息队列的数据模型，并将处理后的所述流式数据源发送至对应的所述数据发送单元；

所述数据发送单元将所述流式数据源发至对应的所述出消息队列模块。

10.根据权利要求7-9任意一项所述的数据分发系统，其特征在于，包括：

在分布式环境下，所述分发器和所述分发模块之间设置有通讯单元，所述分发器和所述分发模块之间通过TCP协议通信；

单机环境中，使用观察者模式进行异步通信。