[发明专利]一种数据写入方法及装置

说明书

本发明公开了一种数据写入方法及装置，该方法包获取待写入数据，根据该获取的待写入数据的数据量，从磁盘存储系统中确定与该待写入数据的数据量相匹配的条带，其中，该磁盘存储系统包含有多个不同条带深度的条带，每个条带均包含n个数据条带单元和m个校验条带单元，将该待写入数据切分为n个数据条带单元，根据纠删码算法计算出m个校验条带单元，并将n个数据条带单元和m个校验条带单元写入到确定的条带。根据待写入数据集的数据量，选择合适的条带深度的条带，将待写入数据按照纠删码算法写入到选择的条带中，实现在数据量较大时选择大条带深度提高吞吐量，数据量较小时选择小条带深度实现较低写入延迟和数据丢失风险的效果。

技术领域

本发明实施例涉及数据存储技术领域，尤其涉及一种数据写入方法及装置。

背景技术

纠删码(erasure coding，EC)是一种数据保护方法，它将原始数据分割成数据块(strip)，将多个数据块通过算法编码形成一个或多个冗余数据块，并将由连续的多个数据块和相关联冗余块组成的条带(stripe)，存储在不同的存储空间，以实现部分存储空间故障后，数据可重建。纠删码技术非常好的折中了磁盘空间利用率和数据可靠性，在分布式存储系统中得到了广泛的应用。以图1为例，D0、D1、D2、D3、D4、D5为数据块，P0、P1、P2为通过算法计算而得到的冗余数据块，组成一个纠删码存储组(n+m，n＝6，m＝3)。如图1中所示，一行9个strip组建一个stripe，这个stripe中任意小于等于3个strip损坏，都可以通过算法还原出损坏的strip。此例子中，每个strip的大小，即为条带深度。而一个stripe包含的strip个数则为条带宽度。条带深度为每个存储空间(如磁盘)的最小数据io(in/out，输入输出)单元，而每个条带深度＊条带宽度，则为整个纠删码组的最小io单元。例如写入一批数据，总是按strip切分，通过算法将连续的6个数据strip计算得到3个冗余strip，组成一个stripe，并发的写入9个磁盘或文件系统。

磁盘的io性能和io的块大小直接相关，较大的块大小，可以提高io的吞吐量，降低磁盘定位带来的性能影响。对于基于纠删码技术的存储系统而言，较大的strip大小，即较大的条带深度，可以提高每个磁盘的io的性能，特别是连续io时的性能。而整个纠删码组的最小io单位为stripe，是由n+m个strip组成(其中包含n个数据strip)。当待写入数据量不足一个stripe，一般的处理方案有两种：一、写入端cache(缓存)住不写数据，等待数据足够之后再按stripe方式写入；二、补足数据足够一个stripe，写入磁盘组，记录此stripe有效数据的量，后续追加写时讲整个stripe或部分读出，修改parity部分再写入。方案一由于客户端的cache，导致这部分数据没有落入磁盘，从而无法从磁盘中读取数据，且延时受限于后续数据写入速度而定，以及系统掉电时会带来数据丢失风险。方案二由于进行了数据补齐，数据可以即时写入磁盘中，但此stripe中有部分无效数据，追加数据时需要将原来的stripe读出，剔除填充数据，并追加有效数据，再将整个stripe写入磁盘中。这个过程存在数据一致性风险(特别是磁盘组分布在分布式存储系统中时，如部分strip完成写入，而部分strip写入失败，导致整个stripe数据是错乱的)，且消耗了大量额外的磁盘io性能。

发明内容

本发明实施例提供一种数据写入方法及装置，用以实现动态调整数据条带深度，实现数据量较小时有较低数据写入延迟和数据丢失风险的效果。

本发明实施例提供的一种数据写入方法，包括：

获取待写入数据；

根据所述获取的待写入数据的数据量，从磁盘存储系统中确定与所述待写入数据的数据量相匹配的条带，其中，所述磁盘存储系统包含有多个不同条带深度的条带，每个条带均包含n个数据条带单元和m个校验条带单元；