[发明专利]数据分层存储方法、读取方法、存储主机及存储系统

说明书

本申请提供一种数据分层存储方法、读取方法、存储主机及存储系统，其中，方法包括：获取待存储的数据；将所述待存储的数据写入到存储组件中的第一稀疏文件，其中，所述存储组件通过大小相同的第一稀疏文件和第二稀疏文件叠加形成，所述第一稀疏文件所存储的第一硬盘的读写性能优于第二稀疏文件所存储的第二硬盘的读写性能。本申请使分别落在第一硬盘和第二硬盘的两个稀疏文件叠加，形成存储组件，使得写数据时可以直接将数据写到第一硬盘的稀疏文件中，不需要写额外的元数据，大大提高了写性能。

技术领域

本申请涉及数据存储技术领域，具体而言，涉及一种数据分层存储方法、读取方法、存储主机及存储系统。

背景技术

随着信息化时代的来临，全球数据量正处于爆炸式增长的趋势。随着数据的急剧增长，传统的数据存储的管理难度增加，性价比下降。并且随着固态存储技术不断进步和普及，存储介质的种类更加多样，采用不同存储介质和接口的存储设备的性能出现了很大差异。固态硬盘(Solid State Disk，SSD)相较于传统的机械硬盘(Hard Disk Drive，HDD)，由于没有磁盘的机械转动，寻址速度大大提高，尤其在随机读写较多的应用环境下，性能会大大提升，但这些高性能存储设备的单位存储价格相对于传统的磁带和机械硬盘也高出很多，所以需要高效平衡地利用这些存储设备。分层存储技术是根据数据访问频率的高低和重要性，将数据划分为冷、热数据，并动态地把不同数据存储于不同性能的存储设备中，以此降低成本和简化存储管理，提高系统性能。

在现有技术中，Linux的逻辑卷管理(Logical Volume Manager，LVM)提供了存储虚拟化，可以将多个物理卷(Physical Volume，PV)建成一个卷组(Volume Group，VG)，然后再在VG里创建虚拟卷。而且LVM提供了在不同物理卷之间迁移数据的应用程序接口(Application Programming Interface，API)。但基于LVM的分层存储方案只能在系统内核实现，开发难度大，并且只能实现基于块设备的分层，不能实现基于文件的分层，同时，每次写都需要修改元数据，导致存储性能不佳。

发明内容

本申请实施例的目的在于提供一种数据分层存储方法、读取方法、存储主机及存储系统，在写数据时可以直接将数据写到第一硬盘的稀疏文件中，不需要写额外的元数据，大大提高写性能。

第一方面，本申请实施例提供一种数据分层存储方法，所述方法包括：获取待存储的数据；将所述待存储的数据写入到存储组件中的第一稀疏文件，其中，所述存储组件通过大小相同的第一稀疏文件和第二稀疏文件叠加形成，所述第一稀疏文件所存储的第一硬盘的读写性能优于第二稀疏文件所存储的第二硬盘的读写性能。

在上述方案中，把一个存储组件用分别落在读写性能高的第一硬盘和读写性能低的第二硬盘上的两个稀疏文件重叠组成，这样使得所有的写可以直接写到第一硬盘，不需要写额外的元数据，大大提高了写性能。同时，该方案是基于稀疏文件的数据存储，不需要在系统内核实现，开发难度更小。

可选的，在将所述待存储的数据写入到存储组件中的第一稀疏文件之后，所述方法还包括：将所述存储组件中第二稀疏文件的对应位置的数据置为零。

第一稀疏文件与第二稀疏文件间会有大量的文件空洞，并且两个稀疏文件相对应的位置不会同时存在数据，以保证数据不冗余。因此，在第一稀疏文件上写入数据后，对第二稀疏文件的对应位置打洞，以释放存储空间。

可选的，在将所述待存储的数据写入到存储组件中的第一稀疏文件之前，所述方法还包括：分别创建两个空文件，并分配每个空文件需要的连续存储空间，获得第一稀疏文件和第二稀疏文件。

可选的，所述方法还包括：在第一硬盘的空间占用量超过第一预设阈值时，对存储主机内的多个存储组件的数据访问次数进行排序，根据排序结果确定目标存储组件，将所述目标存储组件中第一稀疏文件中写入的数据迁移到第二稀疏文件相对应的位置。