[发明专利]针对kafka集群的磁盘保护方法及相关设备

权利要求书

1.一种针对kafka集群的磁盘保护方法，其特征在于，包括：

轮询kafka集群中所有存储服务器的磁盘容量；

当任一存储服务器的磁盘容量达到保护阈值时，获取分区分布信息，所述分区分布信息中包含每一个存储服务器上所设置的主题及每一个主题下属的主分区；

对每一个存储服务器，查询所述存储服务器的数据目录，按照占用空间由大到小的顺序找出第一预设数量的段文件；

对每一个段文件，获取所述段文件所属的主题及分区，依据所述分布信息判断所述段文件所属的分区是否为主分区；

当所述段文件所属的分区为主分区，按照预设比例清理所述段文件所属的分区下的段文件。

2.根据权利要求1所述的方法，其特征在于，按照预设比例清理所述段文件所属的分区下的段文件，包括：

查找所述段文件所属的分区下的可清理的段文件，所述可清理的段文件为不存在快照文件的段文件；

在所述可清理的段文件中按照预设比例选择待清理的段文件，清理所述待清理的段文件。

3.根据权利要求2所述的方法，其特征在于，所述在所述可清理的段文件中按照预设比例选择待清理的段文件，包括：

将所述可清理的段文件按照时间顺序进行排序；

在所述排序中按照由远到近的顺序选择预设比例的段文件，作为待清理的文件单元。

4.根据权利要求2所述的方法，其特征在于，所述清理所述待清理的段文件，包括：

对每一个待清理的段文件，获取所述待清理的段文件的文件名，依据文件名计算数据起始偏移量；

在所述段文件所属的分区中依据所述起始偏移量清理所述待清理的段文件。

5.根据权利要求2所述的方法，其特征在于，所述方法还包括：

如果查找所述段文件所属的分区下的可清理的段文件失败， 则调整段文件参数，以调整段文件大小；

重新查找所述段文件所属的分区下的可清理的段文件，所述可清理的段文件为不存在快照文件的段文件；

在所述可清理的段文件中按照预设比例选择待清理的段文件，清理所述待清理的段文件。

6.一种针对kafka集群的磁盘保护装置，设置在终端设备中，其特征在于，所述磁盘保护装置包括：

监控模块，用于轮询kafka集群中所有存储服务器的磁盘容量；

获取模块，用于当任一存储服务器的磁盘容量达到保护阈值时，获取分区分布信息，所述分区分布信息中包含每一个存储服务器上所设置的主题及每一个主题下属的主分区；

查询模块，用于对每一个存储服务器，查询所述存储服务器的数据目录，按照占用空间由大到小的顺序找出第一预设数量的段文件；

判断模块，用于对每一个段文件，获取所述段文件所属的主题及分区，依据所述分布信息判断所述段文件所属的分区是否为主分区；

第一清理模块，用于当所述段文件所属的分区为主分区，按照预设比例清理所述段文件所属的分区下的段文件。

7.根据权利要求6所述的装置，其特征在于，所述第一清理模块，包括：

查找模块，用于查找所述段文件所属的分区下的可清理的段文件，所述可清理的段文件为不存在快照文件的段文件；

第二清理模块，用于在所述可清理的段文件中按照预设比例选择待清理的段文件，清理所述待清理的段文件。

8.根据权利要求7所述的装置，其特征在于，所述第二清理模块，包括：

排序模块，用于将所述可清理的段文件按照时间顺序进行排序；

选择模块，用于在所述排序中按照由远到近的顺序选择预设比例的段文件，作为待清理的文件单元。

9.根据权利要求7所述的装置，其特征在于，所述第二清理模块，包括：

计算模块，用于对每一个待清理的段文件，获取所述待清理的段文件的文件名，依据文件名计算数据起始偏移量；

第三清理模块，用于在所述段文件所属的分区中依据所述起始偏移量清理所述待清理的段文件。