[发明专利]一种数据校验方法、装置及系统

说明书

技术领域

本发明实施例涉及存储技术领域，尤其涉及一种数据校验方法、装置及系统。

背景技术

纠删码数据冗余保护机制是应用于分布式存储系统的一种数据冗余设计。它相较于传统的多副本、快照、镜像等数据冗余设计更为高效。采用纠删码计算技术，目标数据被划分为若干数据块，基于这些数据块计算获得校验块。如果出错的数据块与出错的校验块的个数之和小于或者等于校验块的个数，可以通过重构算法恢复出出错的数据块。

由于系统延时或者网络传输不稳定等问题，由所述目标数据划分而成的数据块可能无法在同一时间全部发送至分布式存储系统的各个存储节点。然而，根据纠删码数据冗余保护机制的设计原理，只要分布式存储系统获取到部分数据，就会进行纠删码计算和校验数据的存储。因此纠删码计算的次数和校验数据的存储次数非常频繁。如果所述分布式存储系统在某个存储节点中凑满所有的数据块之后再计算校验数据，若这个存储节点发生故障，其积累的数据块就会全部丢失，数据的可靠性又不能得到保证。

发明内容

本发明公开了一种数据校验方法、装置和系统，以实现基于所有数据块进行纠删码计算之前的数据多副本存储，提高分布式存储系统对数据存储的可靠性。

第一方面提供一种数据校验方法，所述方法应用于分布式存储系统中，所述分布式存储系统包括至少两个数据节点和至少一个冗余节点。所述方法包括：所述冗余节点接收应用服务器发送的多个数据块，将所述多个数据块保存为多个数据块副本。当所述多个数据块副本的数量达到预设数值时，所述冗余节点对所述多个数据块副本进行纠删码计算以获得校验数据。所述多个数据块存储于所述至少两个数据节点中。

冗余节点将这些数据块作为数据块副本保存下来，而这些数据块保存在所述分布式存储系统的数据节点中，当在数据块副本的总数达到预设数值时，再进行纠删码计算从而获得校验数据。避免了频繁进行纠删码计算，减轻了冗余节点的工作负荷。因此，无论在纠删码计算之前还是在纠删码计算之后都可以保证数据的可靠性。另外，冗余节点可以将其计算获得的校验数据存储在本地，不用再发送给其他存储节点，就减少了存储节点之间的数据交互次数。

基于第一方面，在第一种实现方式中，所述方法还包括：所述冗余节点在获得所述校验数据之后删除所述数据块副本。在冗余节点获得校验数据之前，数据节点中的每个数据块在冗余节点中都保存有数据块副本，即使数据节点中的数据块丢失，依然可以利用冗余节点中存储的数据块副本进行纠删码计算。在获得校验数据之后，考虑到冗余节点的存储空间的利用率，冗余节点可以删除所述数据块副本。因为即使数据节点的数据块丢失，也可以通过所述校验数据恢复出丢失的数据块。

结合第一方面或者第一方面的第一种实现方式，在第二种实现方式中，所述至少两个数据节点中的每个数据节点存储所述多个数据块中的一个数据块，并且每个数据节点存储的数据块不相同。每一个数据节点存储所述多个数据块中的一个数据块，将目标数据分散存储于多个数据节点上，提高了目标数据存储的可靠性。

结合第一方面或者第一方面的第一种或第二种实现方式，在第三种实现方式中，所述分布式存储系统还包括其他冗余节点，所述方法还包括：所述冗余节点将所述校验数据划分为多个校验块；所述冗余节点将除本地存储的一个校验块之外的其它校验块发送至所述其他冗余节点。冗余节点为多个时，任意一个冗余节点都可以作为通过纠删码计算获得校验数据的存储节点。

结合第一方面或者第一方面的第一种至第三种实现方式中的任一种实现方式，在第四种实现方式中，所述方法还包括：所述冗余节点统计接收所述多个数据块的时间段的时长，所述时长未达到预设的时长阈值，所述时间段结束于所述冗余节点接收所述多个数据块中的最后一个数据块。

结合第一方面或者第一方面的第一种至第四种实现方式中的任一种实现方式，在第五种实现方式中，所述预设数值是根据所述分布式存储系统的校验模式确定的。

第二方面提供一种数据校验方法，所述方法应用于分布式存储系统中，所述分布式存储系统包括至少两个数据节点和至少一个冗余节点，所述方法包括：所述冗余节点接收应用服务器发送的多个数据块，将所述多个数据块保存为多个数据块副本，当所述多个数据块副本的数量未达到预设数值，且所述冗余节点接收所述多个数据块的时间段的时长达到时长阈值时，所述冗余节点对所述多个数据块副本进行纠删码计算以获得校验数据，所述时间段结束于所述冗余节点接收所述多个数据块的最后一个数据块。所述多个数据块存储于所述至少两个数据节点中。