[发明专利]存储方法和装置

说明书

本发明公开了一种存储方法和装置。其中，该方法包括：在缓存层回刷数据到持久化层之前，获取后端存储的多个条带的条带大小；基于每个条带的条带大小，确定每个待回刷的数据的回刷优先级；基于每个待回刷的数据的回刷优先级，将每个待回刷的数据按照对应的回刷优先级回刷到后端存储。本发明解决了现有技术中在缓存层回刷数据到持久化层的过程中，由于在回刷写的流程中，多了一次读的IO处理，导致在回刷非条带对齐和非满条带的数据的时候，回刷的效率低的技术问题。

技术领域

本发明涉及数据存储领域，具体而言，涉及一种存储方法和装置。

背景技术

目前存储系统为了兼顾性能和成本，一般会采用两层架构，分别是缓存层和数据持久化层。如图1所示，为了在随机IO(Input/Output，输入/输出)场景下提供高性能的读写，因此，缓存层的主要介质可以是SSD(Solid State Disk，固态硬盘)，例如，可以是NVME(Non-Volatit Controller Interface，非易失性控制器接口)SSD，数据写入到缓存层就返回，由于缓存层的容量往往比后端数据持久化层的容量小，因此，数据写入到缓存层后，可以根据一定的回刷策略，将数据回刷到数据持久化层。为了考虑能够存储大容量的数据和成本，数据持久化层主要采用HDD盘(Hard Disk Drive，硬盘驱动器)或者SMR盘(ShingledMagneting Recording，叠瓦式磁记录盘)等容量大又廉价的介质。

基于上述结构，缓存层回刷数据到持久化层，是根据写缓存的数据，根据一定的数据回刷的策略，例如LRU(Least Recently Used，最近最少使用)或者LFU(LeastFrequently Used，最不经常使用)的cache回刷处理策略去回刷对应的管理单元的数据，但上述策略没有考虑到后端扶持化的存储持久化层是否是EC pool(Erasure Coding pool，纠错码池)，如果是EC pool，由于数据回刷的过程没有考虑条带对齐和条带整数倍回刷，基于检验数据的计算的需要，需要将其它列的数据读上来，再更新回刷写数据一起计算检验数据，再写回刷数据和检验数据，使得在回刷写的流程中，多了一次读的IO处理，这样导致回刷的流程IO的时延增加了一倍，导致在回刷非条带对齐和非满条带的数据的时候，回刷的效率比较低。

例如，如图2所示，其中，脏数据用实心方框表示，空白数据用空心方框表示。假设EC pool采用4+2的条带，条带深度是4K，也即由4个4K数据块和2个4K的检验数据组成的条带。当通过cache回刷脏数据8～24K范围的时候，回刷到后端EC pool时需要分别回刷到两个条带上，其中，检验数据P和Q是新生成的，因此需要将0～8K，24～32K的数据读出来，生成两个条带中的新的P、Q写下去，导致读放大的温度。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种存储方法和装置，以至少解决现有技术中在缓存层回刷数据到持久化层的过程中，由于在回刷写的流程中，多了一次读的IO处理，导致在回刷非条带对齐和非满条带的数据的时候，回刷的效率低的技术问题。

根据本发明实施例的一个方面，提供了一种存储方法，包括：在缓存层回刷数据到持久化层之前，获取后端存储的多个条带的条带大小；基于每个条带的条带大小，确定每个待回刷的数据的回刷优先级；基于每个待回刷的数据的回刷优先级，将每个待回刷的数据按照对应的回刷优先级回刷到后端存储。

可选地，回刷优先级依次为：条带对齐和条带整数倍的数据、条带不对齐部分数据。

可选地，该数据包括：脏数据和干净数据，其中，如果脏数据不是条带对齐和/或不是条带整数倍的情况下，将缓存层中完成回刷后未淘汰的干净数据与脏数据进行合并，组成条带对齐和/或是条带整数倍的数据，并进行回刷处理。