[发明专利]一种日志映射的块设备精简配置方法

说明书

技术领域

本发明涉及数据存储领域，特别涉及一种精简配置方法。

背景技术

随着现代社会信息数据增多，大数据挑战存储系统的容量、性能和可维护性。随着存储的数据量持续快速增长，在不影响服务的情况下，存储系统需要增加新的硬盘进行容量扩容。然而，在传统的存储系统中，当某个应用需要一部分存储空间的时候，系统划分出一部分足够大的空间预先分配给该应用。此时，这个应用暂时没有足够的数据来填充分配给它的存储空间。由于这部分存储空间已经被预留出来，因此系统无法将空余的空间提供给其他的应用使用。另外，该应用程序产生的数据增长将来有可能超出前述分配的容量空间。

精简配置(Thin-Provisioning)存储系统可实现存储资源的动态分配和增长。精简配置技术也称为“自动精简配置”。物理存储资源只有当数据写操作发生的时候才被分配，这种分配空间的方法也被称为“按需分配”(On-Demand Allocation)或“写时分配”。精简配置将所有的存储空间汇集到一个统一的存储池(Storage Pool)中，并使用同样大小的“段”(Segment)将空间分块，按需分配存储池中的“段”。精简配置存储系统提供给用户虚拟卷(Volume)。虚拟卷的可视容量由存储管理员设定，其虚拟地址空间被划分以同样大小的“段”。根据应用对“卷”的写操作请求，系统按需建立映射信息，在此之后对该“段”进行所有读写操作时，根据映射信息重定向写操作至对应硬盘地址。精简配置通过存储虚拟化提供了比实际物理存储容量更大的虚拟存储容量。当系统中剩余的存储容量较少时，通过添加新的硬盘，精简配置存储系统会再次扩充存储空间。总上所述，精简配置技术具有很高的存储空间利用率，并能动态实现存储空间扩容。

现有技术中存在以下问题：

1)存储的性能主要被写性能限制，90％的读操作将命中主存(RAM)，硬盘上I/O请求的多数是写操作，因此优化存储的写性能非常关键。

然而，多个虚拟卷顺序并发写入同一个硬盘时将会导致精简配置存储的性能下降。一个硬盘的存储资源可能分配给多个虚拟卷，在这些虚拟卷同时写入时(例如多摄像头的视频监控环境，电影后期制作的非线性编辑环境)，多个并发顺序写入过程在硬盘上表现为并发的离散写入，这种写入模式延迟较高，从而导致硬盘带宽很低，硬盘写入带宽可能大幅下降到顺序写入带宽的10％。

2)另外，现有的日志方法(数据块日志文件，日志文件系统)适合“文件系统层”，而精简配置存储在文件系统层下层的“块设备层”。因此，现有日志方法并不适用。

发明内容

本发明提出了结合日志和精简配置资源管理的技术，将数据和映射信息都按写时分配方式写入顺序的下一个空闲资源。本发明的优势在于提高硬盘带宽利用率，减少并发顺序写开销，实现资源按需分配的精简配置存储。本发明的目的是克服现有精简配置存储系统在多卷顺序写入硬盘时带宽下降的缺陷，结合日志技术和精简配置资源管理，提出了数据和映射信息都按存储资源写时分配方式写入下一个空闲资源的方法，从而提供一种适用于多用户多虚拟卷并发顺序写入的、高性能的虚拟块设备层的精简配置存储方法。

为达上述目的，本发明提供了一种日志映射的块设备精简配置方法，其特征在于，所述方法包括：

硬盘数据布局步骤：将存储资源格式化，将硬盘数据布局进行资源池化管理，以支持精简配置的资源分配及日志映射信息的存储和管理；

精简配置资源管理步骤：基于所述资源池化的硬盘，采用将数据按照存储资源写时按需分配方式顺序写入所述硬盘的下一空闲资源，并生成相应的写操作映射信息；

映射信息日志化步骤：将所述写操作映射信息按照追加分配方式进行日志化存储，并基于异步更新方式进行所述映射信息的修改操作，以实现多用户多虚拟卷并发顺序的数据写入。

上述日志映射的块设备精简配置方法，其特征在于，所述方法还包括：

系统自举和恢复步骤：基于两级检查点方法和动态日志区管理方法，实现所述存储资源的写时分配加速，及系统自举快速恢复和崩溃快速恢复。

上述日志映射的块设备精简配置方法，其特征在于，所述单位包括：

粒：用于存储资源管理的最小单位；

段：由固定数量的多个连续的所述粒组成的定长资源，包含：数据和反向映射表。所述反向映射表用于持久存储所述段中用于数据的所述粒的反向映射信息，所述反向映射信息用于从硬盘地址查询获得虚拟地址；

簇：由固定数量的多个连续的所述段组成的定长资源，存储池向动态日志区分配资源的单位，包括：簇编号、空闲粒数量、可分配粒数量、空闲粒位图和时间戳；