[发明专利]一种基于去重系统的分层编码方法、装置及去重系统

说明书

本发明公开了一种基于去重系统的分层编码方法、装置及去重系统，计算机存储领域，包括：预先将数据块的被引用次数划分为N个层级，并在内存中对应创建N个缓存区作为N个数据容器；编码时，当一个数据块经过去重之后，若是唯一块，则将其被引用次数记为1；否则，将其被引用次数加1；之后，将被引用次数记录到数据块的元数据中，并确定数据块所处的层级，将其存储到对应的数据容器中；当数据容器满时，按照其所处层级对应的编码方式进行编码，并将同一条带中的分块存储到不同的节点中；层级越高，对应的被引用次数范围越大，编码条带越短。本发明能够保证去重系统具有良好的存储效率，同时又保证在数据节点失效时，去重系统具有良好的修复速率。

技术领域

本发明属于计算机存储领域，更具体地，涉及一种基于去重系统的分层编码方法、装置及去重系统。

背景技术

伴随着VR(Virtual Reality，虚拟现实)技术、短视频、网络直播等新兴互联网行业的崛起，越来越多的图片、视频等大数据量的数据内容需要保存。这对于企业和用户来说，也将面临越来越大的存储压力。尤其是对于企业来说，考虑到数据安全性和可靠性，需要定期对数据进行备份，这虽然保证了数据安全性，但是大大增加了存储的成本。对各种存储系统和备份系统中相关数据的研究发现，在系统中存在着大约60％的重复数据。该数据表明，释放重复数据占用的存储空间，可以节省出大量存储资源。因此，催生出一种新技术——数据去重技术。在存储系统中，数据去重技术可以减少传输、存储和管理的数据量，提升系统的性能，减少存储成本和管理开销，因此，数据去重技术得到了学术界和工业界的广泛关注，并逐渐成为了数据密集型存储系统和产品中的重要组成。采用了数据去重技术的存储系统，即为去重系统。

纠删码因其良好的存储效率和高可靠性，常常被应用于去重系统，来提高去重系统可靠性。但纠删码有一个众所周知的修复问题，即在数据丢失后，系统进行降级读修复时会消耗大量的网络开销。当前有大量的研究针对纠删码的修复问题进行研究，但这些研究都没有考虑因数据块引用次数增加带来的修复开销问题。而由于纠删码的特性，当数据节点失效时，随着数据块的引用次数增加，被传回到客户端的数据量成倍增长，给网络资源带来了巨大压力。当前一些研究更多的是考虑使用副本方式来减少数据丢失时的网络开销，但是这样又会增加存储成本。因此，针对去重系统即追求存储性能又追求修复性能的情况，提出一种编码方案来对数据进行编码，保证去重系统中数据的可靠性是十分重要且有意义的。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种基于去重系统的分层编码方法、装置及去重系统，其目的在于，保证去重系统具有良好的存储效率，同时又保证在数据节点失效时，去重系统具有良好的修复速率。

为实现上述目的，按照本发明的一个方面，提供了一种基于去重系统的分层编码方法，包括：

预定义N-1个阈值，用于将数据块的被引用次数划分为N个层级，并预先在去重系统的内存中创建N个缓存区作为N个数据容器，用于对应存储N个层级的数据块；

在数据块编码时，当一个数据块经过去重之后，若该数据块是唯一块，则将其被引用次数记为1；若该数据块不是唯一块，则将其被引用次数加1；将更新之后的被引用次数记录到数据块的元数据中，并根据更新之后的被引用次数确定数据块所处的层级，将该数据块存储到对应层级的数据容器中；

当任意一个数据容器满时，按照其所处层级对应的编码方式，对其中的数据块进行编码，并将同一条带中的分块存储到不同的节点中；层级越高，对应的被引用次数范围越大，且对应的编码条带越短；

其中，N为大于1的正整数；条带中的分块为该条带内的数据块或校验块。

进一步地，本发明提供的基于去重系统的分层编码方法，还包括：

发生降级读时，从丢失数据块的元数据信息中提取被引用次数，以确定丢失数据块所处的层级，根据该层级对应的编码方式确定丢失数据块对应的解码方式；