[发明专利]基于去重的数据存储与校验方法、装置及存储介质

说明书

本发明公开了一种基于去重的数据存储与校验方法，所述方法包括以下步骤：在接收到数据读取请求时，根据数据存储区存储的数据块确定所述数据读取请求对应需要读取的每一个数据块对应的读取校验码；根据信息存储区中存储的校验码与数据块的映射关系确定每一个数据块的存储校验码；在所述读取校验码与对应的存储校验码匹配时，从所述数据存储区读取所述数据读取请求对应的数据块。本发明还公开了一种数据校验装置及计算机可读存储介质。通过将数据与校验码分开存储，增加了数据存储的有效空间，且能提高数据校验的准确性，避免因地址信息出错导致的校验出错的问题。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于去重的数据存储与校验方法、数据校验装置及计算机可读存储介质。

背景技术

随着数字时代的发展，大数据的应用出现爆炸性增长，而随着数据量的不断增大，数据去重技术越来越受到数据存储类厂商的重视，且数据存储系统与数据应用的客户端之间的数据一致性，已经成为衡量存储质量的关键。

在读取数据时，传统的数据校验方式是先计算出每一个扇区的循环冗余校验码信息，再将数据和校验码一起发送到磁盘。由于数据与校验码存放在一起，在某些情况(如软件出问题)导致待读取数据的物理地址出错时，只要物理地址读取出来的校验码对待读取数据验证成功时就认为数据读取正确，而此时由于物理地址出错读取出来的其实不是想要读取的目标数据，因而，将数据与校验码存放在一起，无法解决待读取数据的物理地址出错时，待读取数据的校验问题。而在存储数据时，若采用传统的数据校验方式将数据和校验码一起存储到磁盘，需要磁盘提供516字节的扇区支持存储512字节的数据和4字节的校验码，会占用较多的磁盘空间，使得磁盘存储的有效数据减少。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明主要目的在于提供一种基于去重的数据存储与校验方法、数据校验装置及计算机可读存储介质，旨在解决现有技术中的将数据与校验码存放在一起无法校验出物理地址出错时导致的数据读取出错的问题。

为实现上述目的，本发明提供一种基于去重的数据存储与校验方法，其中所述基于去重的数据校验方法包括以下步骤：

在接收到数据读取请求时，根据数据存储区存储的数据块确定所述数据读取请求对应待读取的每一个数据块对应的读取校验码；

根据信息存储区中的存储校验码与数据块的映射关系确定待读取的每一个数据块的存储校验码；

在所述读取校验码与对应的存储校验码匹配时，从所述数据存储区读取所述数据读取请求对应的待读取的数据块。

可选地，所述根据数据存储区存储的数据块确定所述数据读取请求对应待读取的每一个数据块对应的读取校验码的步骤，包括：

从数据存储区确定所述数据读取请求对应待读取的每一个数据块；

根据所述待读取的数据块确定与待读取的每一个数据块对应的读取校验码。

可选地，所述从数据存储区确定所述数据读取请求对应待读取的每一个数据块的步骤，包括：

从数据存储区中确定与所述数据读取请求对应的指纹信息相匹配的每一个数据块；

将与所述数据读取请求对应的指纹信息相匹配的每一个数据块确定为所述数据读取请求对应待读取的每一个数据块。

可选地，所述根据所述待读取的数据块确定与待读取的每一个数据块对应的读取校验码的步骤，包括：

根据所述待读取的每一个数据块确定与所述待读取的每一个数据块对应的校验码算法；

运用所述校验码算法计算所述待读取的每一个数据块的校验码；