[发明专利]连续存储数据的修改方法、装置和系统

说明书

本发明提供一种连续存储数据的修改方法、装置和系统。该方法包括：根据获取到的修改请求，获取修改数据在第一数据块中对应的源数据的索引信息；根据第一数据块中对应的源数据的索引信息，分配第一数据块的第一修改写入区中用于存储所述修改数据的第一存储空间；第一数据块还第一源数据区；第一源数据区连续存储至少两条源数据；至少两条源数据包括所述修改数据对应的源数据；第一修改写入区用于存储第一源数据区中源数据对应的修改数据；在第一存储空间中写入修改数据，并更新第一数据块中修改数据对应的源数据的索引信息。该方法在保证数据连续提取性能的前提下，满足随机修改需求，并且在修改的过程中仍可以提取源数据，不中断业务。

技术领域

本发明涉及数据存储技术领域，尤其涉及一种连续存储数据的修改方法、装置和系统。

背景技术

在存储应用领域，存在小文件密集存储的需求，这些小文件都是一些几KB的文件，例如JSON文件、XML文件、TXT文件等，这些文件数据存在一些固有属性，可以使用一个类型值来表示，例如使用数字1表示交通车辆数据，数字2表示交通人脸数据等。同时，存在对同一类的小文件批量提取的需求。对于这些小文件存储若使用传统的随机存储方式，单条数据提取时，无性能差异；但如果是按某类型值数据进行批量提取时，随机存储的小文件需要每一个文件分别提取，产生大量小IO提取，性能极差。因此可以将同一类型的小文件连续存储在同一数据块中，需要批量提取某一类小文件时，只需要检索到所有的数据块信息，而后对每一个数据块进行读取即可。由于小文件均为连续存储，单次可以合并读取成千上万个小文件，合并小IO为大IO，达到提高数据提取效率的目的。

但是，对于上述连续存储数据的方案，修改成为了一个难题。一种实现方式为：如果在原始数据块所对应的位置直接进行修改，若单条数据大小发生变化，则每次修改时需要将该数据块中的所有数据读出，修改其中一条数据后再写入块，该种方式性能极低，并且修改过程中会导致业务中断。另一种思路是将修改数据写入新的数据块中，更新索引中记录的位置为新的数据块位置，但这样就不满足数据连续存储的需求，极大程度降低了数据提取性能。

发明内容

本发明提供一种连续存储数据的修改方法、装置和系统，在保证数据连续提取性能的前提下，以实现随机修改。

第一方面，本发明提供一种连续存储数据的修改方法，包括：

根据获取到的修改请求，获取修改数据在第一数据块中对应的源数据的索引信息；

根据所述第一数据块中对应的源数据的索引信息，分配所述第一数据块的第一修改写入区中用于存储所述修改数据的第一存储空间；所述第一数据块包括所述第一修改写入区和第一源数据区；所述第一源数据区连续存储至少两条源数据；所述至少两条源数据包括所述修改数据对应的源数据；所述第一修改写入区用于存储所述第一源数据区中源数据对应的修改数据；

在所述第一存储空间中写入所述修改数据，并更新所述第一数据块中所述修改数据对应的源数据的索引信息。

第二方面，本发明实施例提供一种连续存储数据的修改装置，包括：

获取模块，用于根据获取到的修改请求，获取第一数据块中修改数据对应的源数据的索引信息；

分配模块，用于根据所述第一数据块中修改数据对应的源数据的索引信息，分配所述第一数据块的第一修改写入区中用于存储所述修改数据的第一存储空间；所述第一数据块还包括第一源数据区；所述第一源数据区连续存储至少两条源数据；所述至少两条源数据包括所述修改数据对应的源数据；所述第一修改写入区用于存储所述第一源数据区中源数据对应的修改数据；

处理模块，用于在所述第一存储空间中写入所述修改数据，并更新所述第一数据块中所述修改数据对应的源数据的索引信息。

第三方面，本发明实施例提供一种集群系统，包括：

第一集群节点，第二集群节点；