[发明专利]数据巡检方法、装置和分布式存储系统

说明书

本公开提供了一种数据巡检方法、装置和分布式存储系统，属于数据存储技术领域。其中，数据巡检方法应用于分布式存储系统中的存储节点，所述存储节点基于纠删码策略存储数据。本公开提供的数据巡检方法、装置和分布式存储系统，当存储节点接收到管理节点的巡检指令时，获取该存储节点存储的主数据分片对应的各个从存储节点，向各个从存储节点获取从数据分片的校验结果。该存储节点只需校验存储于本地的主数据分片，各个从存储节点只需向主存储节点发送校验结果，而无需将从数据分片发送至主存储节点，因此极大地降低了存储节点之间的数据传输量，减少了存储节点之间的网络消耗，有利于提升分布式存储系统的整体性能和保障用户业务的顺畅执行。

技术领域

本公开涉及数据存储技术领域，尤其是涉及一种数据巡检方法、装置和分布式存储系统。

背景技术

随着数字化的发展，企业对存储系统的容量要求越来越大。分布式存储系统中的副本冗余策略，虽然可以保证数据的可靠性，但是存储空间的耗费过高，限制了分布式存储系统的容量，因此很多企业采用了纠删码策略。

纠删码策略中，利用纠删码算法将待存储数据进行编码得到校验数据，分割待存储数据和校验数据，得到多份数据分片和多份校验分片，将其中一份数据分片作为主数据分片，其余数据分片和校验分片作为从数据分片，分别存储到不同的存储节点上。如图1所示的分布式存储系统中纠删码策略下的数据分布示意图，其中，在纠删码数据池中，D1-D4为数据分片，X和Y为校验分片，他们分别存储在六个不同的存储节点。

为了及时发现存储节点中的异常数据，分布式存储系统一般定时进行数据巡检。现有的数据巡检方法中，需要所有从存储节点将从数据分片的全部数据发送至主存储节点，然后主存储节点进行校验。因此需要大量的数据读取和数据传输，增加了网络节点之间的网络消耗，严重影响分布式存储系统的整体性能，且可能导致用户业务受到影响甚至引起用户业务中断。

发明内容

有鉴于此，本公开实施例的目的在于提供一种数据巡检方法、装置和分布式存储系统，可以节约存储节点之间的网络消耗，提高分布式存储系统的整体性能。

为了实现上述目的，本公开实施例采用的技术方案如下：

第一方面，本公开实施例提供了一种数据巡检方法，应用于分布式存储系统中的存储节点，所述存储节点基于纠删码策略存储数据，所述方法包括：当接收到管理节点的巡检指令时，获取所述存储节点存储的主数据分片对应的各个从存储节点；向各个所述从存储节点获取所述主数据分片对应的从数据分片的校验结果；校验所述主数据分片；根据所述主数据分片的校验结果以及各个所述从数据分片的校验结果，向所述管理节点回复巡检结果。

第二方面，本公开提供了一种数据巡检方法，应用于分布式存储系统中的存储节点，所述存储节点基于纠删码策略存储数据，所述方法包括：当接收到主存储节点发送的巡检请求时，获取所述巡检请求对应的从数据分片；校验所述从数据分片；向所述主存储节点回复校验结果。

第三方面，本公开实施例提供了一种数据巡检装置，应用于分布式存储系统中的存储节点，所述存储节点基于纠删码策略存储数据，所述装置包括：从数据分片校验模块，用于当接收到管理节点的巡检指令时，获取所述存储节点存储的主数据分片对应的各个从存储节点；向各个所述从存储节点获取所述主数据分片对应的从数据分片的校验结果；主数据分片校验模块，用于校验所述主数据分片；巡检结果反馈模块，用于根据所述主数据分片的校验结果以及各个所述从数据分片的校验结果，向所述管理节点回复巡检结果。

第四方面，本公开实施例提供了一种数据巡检装置，应用于分布式存储系统中的存储节点，所述存储节点基于纠删码策略存储数据，所述装置包括：数据获取模块，用于当接收到主存储节点发送的巡检请求时，获取所述巡检请求对应的从数据分片；数据校验模块，用于校验所述从数据分片；校验结果回复模块，用于向所述主存储节点回复校验结果。