[发明专利]一种自动数据分级存储框架下提高数据迁移效率的方法

说明书

技术领域

本发明涉及计算机通信技术领域，具体地说是一种自动数据分级存储框架下提高数据迁移效率的方法。

背景技术

在针对于基于块级数据的分级存储系统中，将不经常访问的数据自动迁移到存储成本层次中较低的设备，释放出较高成本的存储空间给更频繁访问或更高优先级的数据，从而大大减少非重要性数据在一级本地磁盘所占用的空间，加快整个系统的存储性能，降低整个存储系统的拥有成本，进而获得更好的性价比。基于数据块的分级存储是一种细粒度的数据分级管理方案，能够将数据管理的粒度细化到根据应用需求所定义的扩展块级，因此对于数据的管理更加精准。当出现密集IO访问底层数据时，将会产生热点数据，这时需要完成热点数据的升级迁移操作，以便实现热点数据能够使用性能更好的存储资源，从而提高存储系统整体性能。但是，在现有基于数据块的分级存储迁移方案中，存在数据块的迁移效率比较低的问题、并且数据的迁移对用户正常业务产生了一定的负面影响，主要存在如下原因：

（1）当某时刻达到对于数据的迁移周期时，发生了密集IO访问的情况，这时为了保证数据的一致性，在进行IO操作时会对整个分级存储池进行加锁处理，这时触发迁移操作会导致操作由于对数据块的加锁互斥而无法及时完成，需要等待下一个或者多个迁移周期才能试图执行热点数据的升级操作，导致热点数据不能够快速升级，影响了数据分级管理的实际应用效果；在数据迁移获取了分级存储池的琐时，会执行大量的数据迁移，此时数据迁移也会占据存储池的一定IO带宽，对用户正常业务产生了负面的性能影响；

（2）在某时刻达到对于数据的迁移周期时，往往是对整个存储池中的所有数据块进行遍历扫描，当分级存储池中的数据量达到ZB级别时，此种场景下整个存储池数据的迁移效率是很低的。

发明内容

本发明的目的是克服现有技术中存在的不足，提供一种自动数据分级存储框架下提高数据迁移效率的方法，该方法可用于数据智能管理领域的自动数据分级存储管理中，尤其是对于数据块级的数据进行自动分级管理。

本发明的技术方案是按以下方式实现的，其结构由数据块IO监控模块、数据块迁移推送模块和数据块迁移提取模块构成：

数据块IO监控模块：监控统计整个分级存储池每一层级来自用户的IO流量，监控用户设置的分级存储池每一层级的最大IO流量，给数据块迁移提取模块提供提取IO数量阀值；监控统计每一层级的访问引用计数；对来自用户IO访问的数据块进行统计，并定期的将统计信息通知给数据块迁移推送模块；

数据块迁移推送模块：模块实例负责对所在层级设备数据块的扫描以及来自数据块IO监控模块的统计信息的扫描，根据数据块最近访问时间、引用计数、来自数据块IO监控模块提取阀值量、三个维度判断数据块向上迁移、向下迁移、静止，根据判断的结果将数据块封装成迁移IO请求，推送到对应上层设备或下层设备的IO迁移队列中；

数据块迁移提取模块：根据来自数据块IO监控模块的提取IO数量阀值，将IO从本层级设备的迁移队列中取出，在本层级分配新的数据块存储原有存储在下/上级设备中的用户数据，此时新的映射关系建立，删除原有数据块的映射关系；累计本IO流量到总提取IO流量，当累计的总提取IO流量超过来自数据块IO监控模块的提取IO数量阀值时，停止本轮单位提取IO迁移请求，待下次实例运行继续处理；当本层级设备迁移IO队列不存在迁移请求，停止本轮单位提取IO迁移请求，待下次实例运行继续处理。

上述数据IO监控模块定期的对来自用户的R/W IO流量进行统计，根据用户设置的分级存储池每一层级最大IO流量计算出两者之间的差值，将此值作为数据块迁移提取模块的最大IO流量。

上述数据块迁移推送模块定期的扫描模块实例所在层级设备的数据块以及来自数据块IO监控模块的统计信息，根据数据的冷热程度、数据块IO监控模块的提取阀值量将数据块封装成IO迁移请求，添加到对应设备的迁移IO队列中。

上述数据块迁移提取模块实例将存储在本层级设备的迁移IO队列中的请求提取出来，在本层级分配新的数据块，将请求携带的原有用户数据存储在新分配的数据块中即建立新的映射关系，删除原有数据块的映射关系。 

本发明的优点是：

本发明的一种自动数据分级存储框架下提高数据迁移效率的方法和现有技术相比，通过将最近时间访问的数据块信息统计在内存中，对此部分统计信息进行快速的扫描，提高数据迁移的实时性以及迁移效率、降低对于正常IO的影响、提高存储设备的使用效率，而且本发明还具有设计合理、结构简单、使用方便等特点，因而，具有很好的使用价值。

附图说明