[发明专利]一种Ceph系统数据清洗方法、装置、设备及介质

说明书

本发明涉及一种Ceph系统数据清洗方法、装置、设备及介质，所述方法包括状态判断步骤和数据清洗步骤，其中，所述状态判断步骤具体为：采集Ceph系统实时状态信息，循环判断当前Ceph系统是否同时满足以下判定条件：负载低于第一阈值；可用内存高于第二阈值；PG所对应的OSD iops低于第三阈值；若是，则启动所述数据清洗步骤，若否，则返回状态判断步骤。与现有技术相比，本发明能够有效减少数据清洗对系统可用性和性能的影响。

技术领域

本发明属于云计算技术领域，涉及一种分布式存储系统，尤其是涉及一种Ceph系统数据清洗方法、装置、设备及介质。

背景技术

Ceph作为一个分布式存储系统，在云计算行业爆发式增长的背景下，得到了越来越多的应用。Ceph分布式存储采用数据多副本备份机制来保证数据的可靠性。其中，cephPG是一个放置策略组，它是对象的集合，相同PG内的对象都会放到相同的硬盘上，ceph OSD是负责物理存储的进程，一般配置成和磁盘一一对应，一块磁盘启动一个OSD进程。Ceph系统为了维护数据干净和一致性，OSD守护进程可以在PG内清洗对象。

Ceph的数据清洗包括轻清洗和深度清洗两种，轻清洗是指OSD守护进程在PG内和其他OSD的对象副本比较元数据，捕获bugs或者文件系统错误。深度清洗是指OSD守护进程通过逐位比较PG中所有对象的数据执行更深层的清洗。可以发现轻清洗不能发现的硬盘坏扇区。在数据清洗之前，相关的OSD会锁定对象的读写请求。

在传统模式下，Ceph系统数据清洗开始之前会判定所在系统的负载(CPU load)是否超过相关配置的阈值，在负载不超过阈值的情况下即可开启清洗操作，以此来避免Ceph清洗对系统负载的负担，以可能出现的数据清洗错误和卡死。但这种模式考虑因素较少，会较为频繁地启动清洗操作。除此以外，Ceph系统的深度清洗一旦开始，若因为系统原因导致无法结束是没有主动停止的能力的，也就是说PG scrub会持续很长时间，在这期间相关的对象都是被锁死的，这会严重影响Ceph整个存储系统的可用性和性能。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种Ceph系统数据清洗方法、装置、设备及介质，以减少数据清洗对系统可用性和性能的影响。

本发明的目的可以通过以下技术方案来实现：

一种Ceph系统数据清洗方法，包括状态判断步骤和数据清洗步骤，其中，所述状态判断步骤具体为：

采集Ceph系统实时状态信息，循环判断当前Ceph系统是否同时满足以下判定条件：

负载低于第一阈值；

可用内存高于第二阈值；

PG所对应的OSD iops低于第三阈值；

若是，则启动所述数据清洗步骤，若否，则返回状态判断步骤。

进一步地，所述数据清洗步骤包括：

执行数据清洗过程中，实时判断清洗持续时长是否超过第四阈值，若是，则中断数据清洗。

进一步地，所述第一阈值、第二阈值、第三阈值和第四阈值Ceph系统运行环境确定。

进一步地，所述Ceph系统运行环境包括Ceph所在系统的CPU核数、内存大小、硬盘正常情况下的IOPS指标和Ceph系统在该硬件环境下正常运行时的延时性能。

本发明还提供一种Ceph系统数据清洗装置，包括状态判断模块和数据清洗模块，其中，所述状态判断模块包括：

采集单元，用于采集Ceph系统实时状态信息；

判断单元，用于循环判断当前Ceph系统是否同时满足以下判定条件：

负载低于第一阈值；