[发明专利]消息处理方法、装置、电子设备与存储介质

说明书

本发明提供一种消息处理方法、装置、电子设备与存储介质，所述方法应用于消息路由中间层，所述方法包括：接收客户端发送的消息；基于所述消息的请求头，将所述消息路由至集群联邦中对应的主题；所述集群联邦包括多个集群，各集群包括多个主题。本发明提供的方法、装置、电子设备与存储介质，通过消息路由中间层将客户端发送的消息路由转发至集群联邦中对应的主题，当需要处理大量消息时，可以将这些消息所属的多个主题分配到集群联邦中的多个集群中，从而实现了为单个Kafka集群减轻负载，通过路由方式解决了主题过多时单个Kafka集群性能下降的问题，保证了Kafka集群的性能，提高了消息的高并发处理效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种消息处理方法、装置、电子设备与存储介质。

背景技术

Kafka是一种高吞吐量的分布式发布订阅消息系统，广泛应用于大数据处理领域。

目前，消息处理系统通常基于kafka集群进行构建。然而，kafka集群在主题(topic)数量到达成千上万时，会导致总分区数很多，磁盘读写退化为随机读写，严重影响性能，在该场景下无法满足业务需要。

发明内容

本发明提供一种消息处理方法、装置、电子设备与存储介质，用以解决现有技术中主题数量过多时kafka集群性能下降的缺陷，实现主题数量过多时保证Kafka集群的性能。

本发明提供一种消息处理方法，所述方法应用于消息路由中间层，所述方法包括：

接收客户端发送的消息；

基于所述消息的请求头，将所述消息路由至集群联邦中对应的主题；所述集群联邦包括多个集群，各集群包括多个主题。

根据本发明提供的一种消息处理方法，所述基于所述消息的请求头，将所述消息路由至集群联邦中对应的主题，包括：

基于所述消息的请求头，确定所述消息对应的目标集群；

基于所述目标集群，以及所述消息所属的主题，将所述消息路由至所述目标集群中所述消息所属的主题。

根据本发明提供的一种消息处理方法，所述基于所述目标集群，以及所述消息所属的主题，将所述消息路由至所述目标集群中所述消息所属的主题，之前还包括：

若所述目标集群中不包括所述消息所属的主题，则向所述目标集群发出提示信息，以供所述目标集群创建所述消息所属的主题。

根据本发明提供的一种消息处理方法，所述基于所述消息的请求头，确定所述消息对应的目标集群，包括：

基于所述消息的请求头，以及所述集群联邦包括的集群数量，确定所述目标集群。

根据本发明提供的一种消息处理方法，所述基于所述消息的请求头，以及所述集群联邦包括的集群数量，确定所述目标集群，包括：

基于所述消息的请求头，所述集群数量，以及所述各集群包括的主题数量，确定所述目标集群。

根据本发明提供的一种消息处理方法，所述消息的请求头包括第一密钥和第二密钥；

所述基于所述消息的请求头，将所述消息路由至集群联邦中对应的主题，包括：

基于所述第一密钥，将所述消息路由至集群联邦中对应的主题；

基于所述第二密钥，将所述消息路由至所述对应的主题中对应的分区。

根据本发明提供的一种消息处理方法，还包括：

基于客户端订阅的主题，从所述集群联邦中拉取所述客户端订阅的主题中的消息；

将所述客户端订阅的主题中的消息转发给所述客户端。