[发明专利]一种自动数据分级存储框架下提高数据迁移效率的方法

摘要

本发明提供一种自动数据分级存储框架下提高数据迁移效率的方法，由数据块IO监控模块、数据块迁移推送模块和数据块迁移提取模块构成：监控统计整个分级存储池每一层级来自用户的IO流量，监控用户设置的分级存储池每一层级的最大IO流量；模块实例负责对所在层级设备数据块的扫描以及来自数据块IO监控模块的统计信息的扫描；根据来自数据块IO监控模块的提取IO数量阀值，将IO从本层级设备的迁移队列中取出；本发明和现有技术相比，通过将最近时间访问的数据块信息统计在内存中，对此部分统计信息进行快速的扫描，提高数据迁移的实时性以及迁移效率、降低对于正常IO的影响、提高存储设备的使用效率。

主权项

一种自动数据分级存储框架下提高数据迁移效率的方法，其特征在于由数据块IO监控模块、数据块迁移推送模块和数据块迁移提取模块构成：数据块IO监控模块：监控统计整个分级存储池每一层级来自用户的IO流量，监控用户设置的分级存储池每一层级的最大IO流量，给数据块迁移提取模块提供提取IO数量阀值；监控统计每一层级的访问引用计数；对来自用户IO访问的数据块进行统计，并定期的将统计信息通知给数据块迁移推送模块；数据块迁移推送模块：模块实例负责对所在层级设备数据块的扫描以及来自数据块IO监控模块的统计信息的扫描，根据数据块最近访问时间、引用计数、来自数据块IO监控模块提取阀值量、三个维度判断数据块向上迁移、向下迁移、静止，根据判断的结果将数据块封装成迁移IO请求，推送到对应上层设备或下层设备的IO迁移队列中；数据块迁移提取模块：根据来自数据块IO监控模块的提取IO数量阀值，将IO从本层级设备的迁移队列中取出，在本层级分配新的数据块存储原有存储在下/上级设备中的用户数据，此时新的映射关系建立，删除原有数据块的映射关系；累计本IO流量到总提取IO流量，当累计的总提取IO流量超过来自数据块IO监控模块的提取IO数量阀值时，停止本轮单位提取IO迁移请求，待下次实例运行继续处理；当本层级设备迁移IO队列不存在迁移请求，停止本轮单位提取IO迁移请求，待下次实例运行继续处理。