[发明专利]一种分布式重删装置、数据指纹存储、读取方法及系统

说明书

本申请公开了一种分布式重删装置、数据指纹存储、读取方法及系统，上述数据指纹存储方法包括：分别获取目标数据块的序号和数据指纹，相应得到第一序号和目标指纹；利用预设的序号映射公式，计算出与第一序号对应的第二序号；将第二序号对应的数据块的标识号输入至CRUSH算法，以确定出与第二序号对应的OSD存储设备；将第一序号输入至预设的偏移量计算公式，以对目标指纹在OSD存储设备上进行存储时的偏移量进行计算，得到相应的存储位置偏移量；依据存储位置偏移量，将目标指纹存储至OSD存储设备的相应位置上。本申请可以实现对所有目标数据块的数据指纹的统一有序的存储，并有利于提升保存下来的数据指纹的稳定性，进而可以提升数据指纹读写效率。

技术领域

本发明涉及存储技术领域，特别涉及一种分布式重删装置、数据指纹存储、读取方法及系统。

背景技术

分布式存储系统是一种将数据分散存储在多台独立设备上的存储系统。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

重复数据删除(De-duplication，简称重删)技术是一种容量优化技术，它通过消除存储系统中重复的数据，缩减系统中实际存储的数据或通过网络传输的数据，在备份、长期归档和数据灾难恢复等方面得到了广泛的应用。在工业界和学术界已经有相应的产品和技术研究成果。近年来，随着软件定义存储的发展，及虚拟化技术、专用处理器技术和新型存储介质的出现，结合在线重复数据处理和降低存储单位容量成本的考虑，重复数据删除技术需求越来越迫切。

Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的分布式文件系统。基于Ceph设计的分布式存储系统在业界已经存在大量的商用产品，而且基于Ceph的重删方案业界也在研究实现中。目前来看，业界基于Ceph的重删系统普遍存在数据指纹存储位置不合理的情况，致使数据指纹读写效率低。

发明内容

有鉴于此，本发明的目的在于提供一种分布式重删装置、数据指纹存储、读取方法及系统，能够提升数据指纹存储位置的合理性，从而有利于提高数据指纹的读写效率。其具体方案如下：

一种数据指纹存储方法，应用于分布式重删系统，包括：

分别获取目标数据块的序号和数据指纹，相应得到第一序号和目标指纹；

利用预设的序号映射公式，计算出与所述第一序号对应的第二序号；

将所述第二序号对应的数据块的标识号输入至CRUSH算法，以确定出与所述第二序号对应的OSD存储设备；

将所述第一序号输入至预设的偏移量计算公式，以对所述目标指纹在所述OSD存储设备上进行存储时的偏移量进行计算，得到相应的存储位置偏移量；

依据所述存储位置偏移量，将所述目标指纹存储至所述OSD存储设备的相应位置上。

可选的，获取所述目标数据块的数据指纹的过程，包括：

利用哈希函数，对所述目标数据块进行指纹计算，得到所述目标指纹。

可选的，所述哈希函数为SHA-1哈希函数。

可选的，所述序号映射公式具体为：

j＝int(i/int(block_size/hash size))；

式中，j表示所述第二序号，i表示所述第一序号，block_size表示数据块的大小，hash size表示所述哈希函数的输出字节数。

可选的，所述偏移量计算公式具体为：