[发明专利]针对kafka集群的磁盘保护方法及相关设备

说明书

本申请实施例提出了一种针对kafka集群的磁盘保护方法及相关设备，其中，上述磁盘保护方法中，轮询kafka集群中所有存储服务器的磁盘容量；当任一存储服务器的磁盘容量达到保护阈值时，获取分区分布信息，对每一个存储服务器，查询所述存储服务器的数据目录，按照占用空间由大到小的顺序找出第一预设数量的段文件；对每一个段文件，获取所述段文件所属的主题及分区，依据所述分布信息判断所述段文件所属的分区是否为主分区；当所述段文件所属的分区为主分区，按照预设比例清理所述段文件所属的分区下的段文件，从而保证了磁盘的可用容量，从而使得kafka系统在出现突发流量时，磁盘空间不会出现过载问题，保证了kafka服务的高可用。

【技术领域】

本申请实施例涉及计算机技术领域，尤其涉及一种针对kafka集群的磁盘保护方法及相关设备。

【背景技术】

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。

Kafka的架构包括以下组件：

话题(Topic)是特定类型的消息流。消息是字节的有效负载(Playload)，话题是消息的分类名或者种子(feed)名。

生产者(producer)是能够发布消息到话题的任何对象。

代理(Broker)或者kafla集群是用于保存已发布的消息的一组服务器。

消费者可以订阅一个或者多个话题，从代理(Broker)中拉取数据，从而消费这些已发布的消息。

Kafka现有的删除策略可以分为：基于时间的删除策略和基于文件大小的删除策略，这两种策略都无法应对短时间内出现突发流量的状况，导致磁盘空间写满，造成kafka服务不可用。

【发明内容】

本申请实施例提供了一种针对kafka集群的磁盘保护方法及相关设备，以保证了磁盘的可用容量，从而使得kafka系统在出现突发流量时，磁盘空间不会出现过载问题，保证了kafka服务的高可用。

第一方面，本申请实施例提供一种针对kafka集群的磁盘保护方法，包括：轮询kafka集群中所有存储服务器的磁盘容量；当任一存储服务器的磁盘容量达到保护阈值时，获取分区分布信息，所述分区分布信息中包含每一个存储服务器上所设置的主题及每一个主题下属的主分区；对每一个存储服务器，查询所述存储服务器的数据目录，按照占用空间由大到小的顺序找出第一预设数量的段文件；对每一个段文件，获取所述段文件所属的主题及分区，依据所述分布信息判断所述段文件所属的分区是否为主分区；当所述段文件所属的分区为主分区，按照预设比例清理所述段文件所属的分区下的段文件。

上述磁盘保护方法中，监控存储服务器的磁盘空间的使用情况，当磁盘的占用空间的大小超过预设阈值时，对其进行清理，保证了磁盘的可用容量，从而使得kafka系统在出现突发流量时，磁盘空间不会出现过载问题，保证了kafka服务的高可用。上述方法保证了在磁盘空间受限的场景下，磁盘空间不被突发流量占满，实现kafka集群服务自我保护的一种机制，从而提高kafka集群的可用性。

其中一种可能的实现方式中，按照预设比例清理所述段文件所属的分区下的段文件，包括：查找所述段文件所属的分区下的可清理的段文件，所述可清理的段文件为不存在快照文件的段文件；在所述可清理的段文件中按照预设比例选择待清理的段文件，清理所述待清理的段文件。

其中一种可能的实现方式中，所述在所述可清理的段文件中按照预设比例选择待清理的段文件，包括：将所述可清理的段文件按照时间顺序进行排序；在所述排序中按照由远到近的顺序选择预设比例的段文件，作为待清理的文件单元。