[发明专利]数据处理方法、装置、设备及存储介质

说明书

本申请提供一种数据处理方法、装置、设备及存储介质，主节点通过获取集群中各个节点上报的对象状态信息，并根据各个节点上报的对象状态信息，确定出状态异常的目标节点以及该目标节点上的离线对象，将该目标节点上离线对象的离线信息添加至目标节点的状态变迁表中，在目标节点上离线对象的离线时长大于离线阈值，则生成针对该目标节点的副本补齐任务，并下发给集群的在线备节点，在线备节点可以根据接收到的副本补齐任务执行副本的补齐。该技术方案，主节点可以及时确定出状态异常的节点，并及时生成针对该节点的副本补齐任务，为后续副本补齐任务的执行奠定了基础，提供了数据补齐效率。

技术领域

本申请涉及云存储技术领域，尤其涉及一种数据处理方法、装置、设备及存储介质。

背景技术

云存储系统是一种网络存储系统，其通过集群应用、网络技术或分布式文件系统等功能，可以将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能。

在云存储系统中，为了提高数据的安全性，云存储系统通常通过多副本冗余存储来保证数据的可靠性。例如，采用2份副本存储时，将1份副本数据存储在一个数据节点上，而将另外1份副本数据存储在其他数据节点上。这样，在存储副本数据的磁盘发生故障或节点发生故障导致副本数据丢失时，可以基于用户的读操作对丢失的副本数据进行修复。

然而，现有副本数据的修复需要依赖用户的读操作触发，若丢失的数据不是用户经常访问的热数据，则无法触发副本数据的修复，导致丢失的数据长期处于副本不足的状态，这时，若存储其他副本数据的节点或磁盘在这段时间内发生故障，则会导致其他的副本数据也丢失，影响了数据的读写业务，存在数据可靠性低的问题。

发明内容

本申请提供一种数据处理方法、装置、设备及存储介质，以克服现有云存储系统中副本数据可靠性低的问题。

第一方面，本申请实施例提供一种数据处理方法，包括：

获取集群中各个节点上报的对象状态信息，所述对象状态信息包括：节点状态信息和所属节点上每个块设备的状态信息；

根据各个节点上报的对象状态信息，确定出状态异常的目标节点以及所述目标节点上的离线对象，所述离线对象至少包括如下一种：离线节点、在线节点上的离线块设备；

将所述目标节点上离线对象的离线信息添加至所述目标节点的状态变迁表中，所述状态变迁表用于记录离线对象的标识、离线对象的离线时间点、是否针对每个离线对象生成副本任务；

若所述目标节点上离线对象的离线时长大于离线阈值，则生成针对所述目标节点的副本补齐任务。

在第一方面的一种可能设计中，所述方法还包括：

将所述目标节点的副本补齐任务添加至集群副本补齐任务表中，并更新所述目标节点的状态变迁表；

通过周期性扫描所述集群副本补齐任务表，确定所述目标节点上离线对象的状态信息是否发生变化；

在确定所述目标节点上离线对象的状态信息未发生变化时，向所述集群中的所有在线节点下发所述副本补齐任务。

可选的，在所述向所述集群中的所有在线节点下发所述副本补齐任务之后，所述方法还包括：

确定所述副本补齐任务是否成功下发至所述集群中的所有在线节点；

在所述副本补齐任务成功下发至所述集群中的所有在线节点时，将所述副本补齐任务的状态设置为已下发；

在所述副本补齐任务成功下发至所述集群中的部分在线节点时，将所述副本补齐任务的状态设置为下发中；

在所述副本补齐任务未成功下发至所述集群中的任意一个在线节点时，将所述副本补齐任务的状态设置为未下发。