[发明专利]一种云存储中纠删码数据的修改方法及系统

说明书

本发明公开了一种云存储中纠删码数据的修改方法及系统，该方法包括：对原始数据进行纠删码编码，将编码得到的原始编码数据存至磁盘；当检测到对原始数据的修改指令时，获取与修改指令对应的修改数据；判断修改数据的大小是否小于或者等于预设数据量阈值；当判定修改数据的大小小于或者等于所述数据量阈值时，对修改数据进行纠删码编码，并将编码得到的修改编码数据作为与原始数据相对应的修改编码数据保存至kv数据库。本发明充分利用了kv数据库在处理小文件时候的写操作性能以及纠删码在计算校验块时需要条带为小数据的特性，将两者结合加速了数据的修改速度，进而有效实现了减少数据修改过程中的耗时进而提高修改效率的目的。

技术领域

本发明涉及云存储技术领域，特别是涉及一种云存储中纠删码数据的修改方法及系统。

背景技术

目前，云存储系统为了保证数据的安全性，通常会采用数据多副本的方式实现数据的冗余，随着数据量的持续、不断增长，副本方式带来的存储效率低的问题越来越明显，于是，出现了纠删码方式的数据冗余策略，在同等数据冗余度的情况下，纠删码方式能够带来存储效率至少50％以上的提高。

在纠删码方式中，通常需要计算数据的校验数据块，为了便于数据管理，在计算时需要先将原始数据划分为固定大小的数据块，然后针对数据块进行校验块的计算，最后将数据块和计算出的校验块分发至不同的存储磁盘。为了保证传输和存储的效率，云存储系统通常以4MB为单位传输和存储数据，一个存储的数据块中会存在多个数据分片的数据。举个例子，如图1所示的3+1纠删码数据存放形式，原始数据分为3个数据块，每个数据块由多个纠删数据分片组成，不同数据块上的数据分片计算后形成与其对应的校验块。其中，为了保证计算效率数据的分片通常为4kB～64kB之间。

在需要对原始数据进行修改操作时，数据分片内一个字节的修改也意味着整个数据分片和校验块的重新计算，因此，在数据修改时需要将整个数据分片都读取出来恢复原始数据，在修改后重新针对修改后数据进行分片和计算相应的校验块，然后将数据分片和计算得到的校验块重新写入。

可见，现有的修改方法中，在数据修改时需要将整个数据分片都读取、恢复、修改、重新分片、重新计算后再写入，特别是当修改数据为小块数据时，对其的写入为随机写入，在SATA硬盘上效率远低于顺序写入，耗时长、效率低，尤其是在磁盘压力较大的情况下。

发明内容

有鉴于此，本发明提供了一种云存储中纠删码数据的修改方法及系统，以实现减少数据修改过程中的耗时进而提高修改效率的目的。

为解决上述技术问题，本发明提供一种云存储中纠删码数据的修改方法，该方法包括：

对原始数据进行纠删码编码，将编码得到的原始编码数据存至磁盘；

当检测到对所述原始数据的修改指令时，获取与所述修改指令对应的修改数据；

判断所述修改数据的大小是否小于或者等于预设数据量阈值；

当判定所述修改数据的大小小于或者等于所述数据量阈值时，对所述修改数据进行纠删码编码，并将编码得到的修改编码数据作为与所述原始数据相对应的修改编码数据保存至kv数据库，其中，所述kv数据库为Key-Value存储数据库。

上述方法中，优选地，还包括：

当判定所述修改数据的大小大于所述数据量阈值时，从所述磁盘中获取所述原始编码数据，并利用获取到的所述原始编码数据和所述修改数据，得到修改后数据；

对所述修改后数据进行纠删编码得到修改后编码数据，并将所述修改后编码数据存回所述磁盘。

上述方法中，优选地，还包括：

当检测到对所述原始数据的读取指令时，判断所述kv数据库中是否存在与所述原始数据相对应的修改编码数据；