[发明专利]获取数据的方法、装置及计算机可读存储介质

说明书

本公开提供了一种获取数据的方法、装置及计算机可读存储介质，涉及计算机技术领域。其中的获取数据的方法包括：接收用户发送的主题数据获取请求，主题数据获取请求包含主题数据的标识；利用主题数据的标识查询预先创建的kafka集群主题数据信息表，在kafka集群中确定主题数据所在的集群，kafka集群主题数据信息表包含kafka集群中各个主题数据与所在的集群之间的映射关系；向用户发送主题数据所在的集群的配置参数和消费密钥，以便用户从主题数据所在的集群获取主题数据。本公开能够根据用户的主题数据获取请求自动匹配读集群，实现了Kafka集群的自动化配置。

技术领域

本公开涉及计算机技术领域，特别涉及一种获取数据的方法、装置及计算机可读存储介质。

背景技术

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。

规模较大的企业Kafka集群已做到数据读写分离。Kafka数据读写相互解耦，上游写一份数据，可以有多个下游业务来消费这份数据，所以消费者的数量大于生产者的数据量。

为了做好数据存储灾备，对于数据量较大、业务等级较高的数据经常在多个集群上备份存储，通常为一个写集群、多个读集群。图1示出了消费者消费一个写集群、多个读集群的Kafka集群的示意图。数据量、业务等级再上升一个等级的业务数据，则需要将一份业务数据拆成多份同时写进多个写集群，然后再将这多份写集群的数据汇成一份数据分别同步给多个读集群备份。图2示出了消费者消费多个写集群、多个读集群的Kafka集群的示意图。而对于数据量不大、业务不重要的数据，则采取的方式为同一个读写不分离的集群。图3示出了消费者消费读写不分离的Kafka集群的示意图。

发明内容

本公开解决的一个技术问题是，如何根据用户的主题数据获取请求自动匹配读集群，实现Kafka集群的自动化配置。

根据本公开实施例的一个方面，提供了一种获取数据的方法，包括：接收用户发送的主题数据获取请求，主题数据获取请求包含主题数据的标识；利用主题数据的标识查询预先创建的kafka集群主题数据信息表，在kafka集群中确定主题数据所在的集群，kafka集群主题数据信息表包含kafka集群中各个主题数据与所在的集群之间的映射关系；向用户发送主题数据所在的集群的配置参数和消费密钥，以便用户从主题数据所在的集群获取主题数据。

在一些实施例中，在kafka集群中确定主题数据所在的集群包括：若kafka集群中存在存储主题数据的读集群，从中选择负载最小的读集群作为主题数据所在的集群。

在一些实施例中，在kafka集群中确定主题数据所在的集群包括：若kafka集群中不存在存储主题数据的读集群、存在存储主题数据的读写集群，将读写集群确定为主题数据所在的集群。

在一些实施例中，在kafka集群中确定主题数据所在的读集群包括：若在kafka集群中不存在存储主题数据的读集群、不存在存储主题数据的读写集群、存在存储主题数据的写集群，从预先创建的存储集群拓扑图中查询写集群相关联的读集群；将写集群同步至相关联的读集群，并根据同步得到的读集群确定主题数据所在的集群。

在一些实施例中，将写集群同步至相关联的读集群，并根据同步得到的读集群确定主题数据所在的集群包括：若写集群为单同步类型，则将写集群同步至相关联的负载最小的读集群；若写集群为多同步类型，则将写集群同步至相关联的所有读集群，并从中选择负载最小的读集群作为主题数据所在的集群。

在一些实施例中，将写集群同步至相关联的读集群包括：通过多个同步任务将写集群同步至每个相关联的读集群，每个同步任务所同步的数据量不超过预设值；根据预设值以及各个同步任务所同步的各个主题数据的数据量，分别确定各个同步任务所同步的主题数据的数量。