[发明专利]一种控制数据重构的方法、装置、设备及可读介质

说明书

本发明提供了一种控制数据重构的方法、装置、设备及可读介质，该方法包括：响应于接收到数据重构的指令，计算数据重构量和集群中剩余可用容量，并将数据重构量和集群中剩余可用容量进行比较；响应于集群中剩余可用容量大于数据重构量，将故障的OSD标记为异常状态并判断是否存在客户端读写操作；响应于存在客户端读写操作，限制客户端读写操作的处理速度并调整集群读写的优先级；进行数据重构，并在数据重构完成后恢复客户端读写操作的处理速度。通过使用本发明的方案，能够避免由于剩余空间不足导致无法完成重构造成数据丢失的问题，能够避免在重构过程中产生新数据写入导致剩余空间不足无法完成重构的问题。

技术领域

本发明涉及计算机领域，并且更具体地涉及一种控制数据重构的方法、装置、设备及可读介质。

背景技术

当分布式存储集群发生磁盘、掉电等故障，或扩容、缩容等操作时，会进行数据重构。当PG（Placement Group，放置组，用于放置对象的一个载体）完成了Peering（PG内的副本通过PG日志来达成数据一致的过程）过程后，处于Active状态的PG就可以对外提供服务了。但是如果该PG的各个副本上存在不一致的对象，就需要进行修复，即需要进行数据重构。数据重构是分布式存储的一项基本、且非常重要的功能，其保证了数据的完整性和一致性。

但如果发生数据重构时，集群的水位很高，就可能会出现一些问题。如果集群剩余的可用空间小于故障盘上数据量的大小，即剩余空间不足以完成数据重构时，就可能会发生数据的丢失，如果重构后crush算法（一种计算数据分布的哈希算法）的结果并不是非常均衡，在可用空间非常有限的情况下，也可能会导致重构无法完成，进而产生数据丢失的风险，如果在进行数据重构的同时，还存在客户端的业务读写，这样业务产生的新数据量也会占用一定的空间导致用来进行数据重构的空间不足。

发明内容

有鉴于此，本发明实施例的目的在于提出一种控制数据重构的方法、装置、设备及可读介质，通过使用本发明的技术方案，能够避免由于剩余空间不足导致无法完成重构造成数据丢失的问题，能够避免在重构过程中产生新数据写入导致剩余空间不足无法完成重构的问题。

基于上述目的，本发明的实施例的一个方面提供了一种控制数据重构的方法，包括以下步骤：

响应于接收到数据重构的指令，计算数据重构量和集群中剩余可用容量，并将数据重构量和集群中剩余可用容量进行比较；

响应于集群中剩余可用容量大于数据重构量，将故障的OSD标记为异常状态并判断是否存在客户端读写操作；

响应于存在客户端读写操作，限制客户端读写操作的处理速度并调整集群读写的优先级；

进行数据重构，并在数据重构完成后恢复客户端读写操作的处理速度。

根据本发明的一个实施例，还包括：

响应于集群中剩余可用容量小于数据重构量，不执行对故障的OSD标记为异常状态的操作并发出容量不足的告警。

根据本发明的一个实施例，进行数据重构包括：

响应于进行数据重构，PG在经过Crush算法映射后通过Upmap算法进行重平衡以使重构的PG优先往PG数量较少的OSD上分布。

根据本发明的一个实施例，响应于存在客户端读写操作，限制客户端读写操作的处理速度并调整集群读写的优先级包括：

响应于存在客户端读写操作，将数据读写队列的优先级设置为数据恢复优先。

本发明的实施例的另一个方面，还提供了一种控制数据重构的装置，装置包括：

比较模块，比较模块配置为响应于接收到数据重构的指令，计算数据重构量和集群中剩余可用容量，并将数据重构量和集群中剩余可用容量进行比较；

判断模块，判断模块配置为响应于集群中剩余可用容量大于数据重构量，将故障的OSD标记为异常状态并判断是否存在客户端读写操作；