[发明专利]一种通用云原生的分布式实时流数据总线系统

权利要求书

1.一种通用云原生的分布式实时流数据总线系统，其特征在于，包括：

至少一个数据总线实例，用于根据数据管道任务将数据输入源的消费数据通过至少一个所述数据总线实例传输至目标数据源；

一分布式协作系统，分别连接至少一个所述数据总线实例，分布式协作系统于所述数据总线实例注册时形成一注册信息，所述数据总线实例根据每个所述数据总线实例的注册信息选举其中一个所述数据总线实例作为主节点，其他所述数据总线实例作为从节点；

所述主节点用于与每个所述从节点进行通信，并根据一预设的任务分配策略为所述主节点和每个所述从节点分配所述数据管道任务，以执行所述数据管道任务，并将执行的所述数据管道任务的状态信息存储至所述分布式协作系统。

2.根据权利要求1所述的一种通用云原生的分布式实时流数据总线系统，其特征在于，每个所述数据总线实例分别包括：

一数据作业流管理模块，连接所述分布式协作系统，用于对所述数据管道任务进行管理，以及创建新的所述数据管道任务，并为新的所述数据管道任务配置一定义规则，所述定义规则包括数据输入源、数据处理类型和数据输出源定义；

一节点控制模块，连接所述分布式协作系统，用于根据所述注册信息选举其中一个所述数据总线实例的所述节点控制模块作为主节点控制模块，其他所述数据总线实例的所述节点控制模块作为从节点控制模块，所述主节点控制模块用于从所述分布式协作系统获取所述数据管道任务，并根据所述预设的任务分配策略对所述数据管道任务进行分配，所述从节点控制模块用于接收所述主节点控制模块分配的所述数据管道任务并执行。

3.根据权利要求2所述的一种通用云原生的分布式实时流数据总线系统，其特征在于，每个所述数据总线实例分别还包括：

一数据源接入模块，连接所述节点控制模块，用于根据分配的所述数据管道任务从所述数据输入源接收所述消费数据；

一数据处理模块，分别连接所述数据源接入模块和所述数据作业流管理模块，用于根据所述定义规则对所述消费数据进行处理；

一数据输出模块，连接所述数据处理模块，用于根据所述定义规则将处理后的所述消费数据传输至所述目标数据源。

4.根据权利要求2所述的一种通用云原生的分布式实时流数据总线系统，其特征在于，所述分布式协作系统包括一数据管道节点，用于存储所述数据管道任务以及对应的定义信息；

所述数据作业流管理模块包括一传输接口，用于所述数据作业流管理模块通过所述传输接口将所述数据管道任务及对应的所述定义规则写入对应的数据管道节点中。

5.根据权利要求4所述的一种通用云原生的分布式实时流数据总线系统，其特征在于，所述分布式协作系统还包括对应每个所述数据总线实例的实例节点，用于存储所述数据总线实例的注册信息，以及分配给每个所述数据总线实例的数据管道任务；

所述节点控制模块还包括：

一监听单元，用于实时监听所述分布式协作系统的所述数据管道节点；

一获取单元，连接所述监听单元，用于获取对应的所述数据管道节点的所述数据管道任务。

6.根据权利要求5所述的一种通用云原生的分布式实时流数据总线系统，其特征在于，所述主节点控制模块还包括：

一分配单元，用于当所述数据管道节点发生变更时，根据所述预设的任务分配策略将发生变更的所述数据管道任务分配给所述数据总线实例，并写入对应的所述实例节点中。

7.根据权利要求2所述的一种通用云原生的分布式实时流数据总线系统，其特征在于，所述分布式协作系统还包括一注册节点，用以供所述数据总线实例注册，为每个所述数据总线实例创建一临时顺序子节点，并为所述临时顺序子节点分配ID号并存储，以及将分配的ID号发送至所述节点控制模块；

所述节点控制模块根据分配的ID号，将ID号最小的所述节点控制模块作为集群的主节点控制模块。