[发明专利]分布式消息系统

说明书

本申请公开了一种分布式消息系统，包括：集群；指标采集器，用于从所述集群采集监控指标；运维管理系统，通过所述指标采集器进行指标数据的查询和读取，并下发客户端资源元数据以使应用使用资源。本申请的目的至少在于，能够提供可视化的运维监控和安全性的运维平台从而更有效解决生产中集群可能发生的故障。

技术领域

本申请涉及分布式消息系统的集群运维管理技术领域，具体来说，涉及一种分布式消息系统的集群运维管理方法和装置。

背景技术

分布式消息作为中间件成员中不可缺失的部分，在目前绝大部分的系统架构中都使用分布式消息来解决系统或应用间异步通讯的问题。分布式消息经历了多次重大的架构升级后，核心技术架构已日趋成熟。现阶段主流的开源分布式消息系统都是基于Topic(主题)和Group(组)的概念实现整个分布式消息系统。其中，Apache Kafka、Apache RocketMQ(Rocket Meta Queue，开源的消息中间件)、Apache Pulsar是开源分布式消息系统大军中的领军代表。越来越多的系统或应用使用分布式消息系统来实现系统或应用间的异步解耦、削峰限流等功能来提升自身系统或应用的高并发性能，以及保障系统或应用的安全性和稳定性。然而，即使是再成熟的系统，也离不开日常的监控巡查，也离不开出现异常问题的处理，更离不开人工的参与。在分布式消息系统中，一个或多个物理集群构成整个分布式消息的整体逻辑服务形态，在一个简单的集群中至少包含3-5台物理或虚拟服务节点。如此庞大的服务节点规模给运维带来了巨大的压力和挑战。因此，分布式消息系统非常需要一套完善的可视化的运维工具，帮助开发人员和运维人员高效地完成日常巡检，问题处理等工作。

经调研，Apache Kafka、Apache RocketMQ和Apache Pulsar作为目前几款主流的分布式消息系统，在可视化运维工具方面都存在诸多问题。例如，Apache Kafka作为大数据、流处理首选的分布式消息系统，原生只提供了命令行工具来获取Kafka集群运行时的监控数据。命令行代码效率极低，交互性较差，而且提供的监控数据极为有限，对开发人员和运维人员日常监控和问题排查带来了极大的困难。而Apache RocketMQ作为后起之秀，在金融等高安全、高要求的领域占有一席之地。RocketMQ原生除了提供类似Kafka一样的命令行工具外，也提供了原生的可视化控台。与kafka相比，以及较大的降低了开发人员和运维人员使用的难度，提升了运维工作的效率。但是，RocketMQ原生可视化控台无论从功能性，还是可视化角度都略显简陋。

现有技术存在的问题：

Apache RocketMQ提供了一套简单可视化控台RocketMQ Console。RocketMQConsole可以简单的监控集群的配置、实时的健康状态，消息流入流出的统计等功能。

RocketMQ Console在权限方面没有做任何控制，作为一款在生产环境运行的管理系统，权限本身就是保障安全的第一道关卡。RocketMQ Console本身除了提供简单的运维监控功能外，还提供了直接对集群产生直接影响的多种操作。例如：创建Topic、删除Topic、创建Group、删除Group等等。诸如此类的操作都有可能威胁到集群的稳定性和安全性。没有权限的保障，任何有权访问RocketMQ Console的人员都有可能对生产造成有意或无意的影响。

RocketMQ Console只对集群中的Broker(RocketMQ最核心模块，主要负责Topic消息存储、管理和分发)有实时健康状态的监控，没有对NameServer的健康状态进行监控。NameServer是Apache RocketMQ整体架构中重要的角色之一，NameServer主要管理整个集群的元数据内容，所有生产和消费实例都必须通过NameServer中的元数据来找到对应的Broker，才能正常的收发消息。所以，NameServer的健康状态同样重要。