[发明专利]基于kafka的分布式消息数据总线

说明书

本发明基于kafka的分布式消息数据总线涉及信息数据领域，特别是一种适用于分布式数据库和分布式计算集群的分布式消息数据总线。包括kafka通用客户端接口和数据统一模型接口；所述kafka通用客户端接口用于统一不同版本的kafka producer和consumer客户端，屏蔽了外部系统对kafka各版本的使用限制，从而实现与不同版本kafka的producer、consumer客户端相连，保证两者接口结构一致；所述数据统一模型接口用于统一业务数据接口，与kafka数据解耦；根据接口结构，实现业务数据的统一模型组合/拆分逻辑。

技术领域

本发明基于kafka的分布式消息数据总线涉及信息数据领域，特别是一种适用于分布式数据库和分布式计算集群的分布式消息数据总线。

背景技术

kafka最初是由linkedIn公司开发，旨在提供快速、可扩展、分布式的发布-订阅消息系统。kafka主要应用方向有：海量日志收集、海量数据缓存等等。

kafka提供一种海量缓存方案，可以在一定周期内对数据进行缓存，用户可以存放数据到该缓存（即，生产数据），也可以拉取缓存内的数据（即，消费数据）。超过周期时间，则该周期内存放的数据被自动清空。这样，即能够保证一定时间内数据的重复利用，又能源源不断的存放数据。

kafka的结构主要如下：

1）topic—消息主题，存放特定类型的消息数据；即，每个数据都存放在某个主题下，这样数据能够分类存放，避免交叉使用带来的混乱；

2）producer—消息生产者，将数据封装成kafka的消息单元，并将该消息单元发送至kafka系统，即存入到对应类型的topic；

3）consumer—消息消费者，订阅一个或多个topic，消费所需消息数据；

4）broker—kafka节点名称，持久化topic中的消息数据到本地磁盘。

现如今，随着大数据技术的飞速发展，数据的价值日益体现。越来越多的企业重视数据，从中挖掘出更有利的信息。而这些均需要以数据的高效存储、共享、交换为前提。

目前的kafka信息发布订阅存在如下问题：

1）topic(消息主题)存储的消息数据结构均与各自业务系统挂钩，两者紧密耦合，这就使得不同业务系统之间无法简单快速的共享、交换各自的数据；数据无法交叉运转，难以，则无法满足数据价值至上的时代；

2）kafka不同版本相互不兼容，也即不同版本kafka需实现各自的kafka客户端（producer客户端、consumer客户端）；没有统一的客户端兼容所有kafka版本，进而能够统一的操作消息数据。

综上所述，现有的技术受限于：

1）消息数据存储于业务耦合，难以相互作用；

2）kafka版本之间无法兼容，无法统一其客户端。

发明内容

本发明的目的是针对上述不足之处提供一种基于kafka的分布式消息数据总线，实现统一消息数据传输类型，解耦其业务；统一kafka客户端，兼容各个kafka版本。

本发明是采取以下技术方案实现的：

基于kafka的分布式消息数据总线包括kafka通用客户端接口和数据统一模型接口；

所述kafka通用客户端接口用于统一不同版本的kafka producer和consumer客户端，屏蔽了外部系统对kafka各版本的使用限制，从而实现与不同版本kafka的producer、consumer客户端相连，保证两者接口结构一致；