[发明专利]基于层次存储介质的数据调度方法

权利要求书

1.一种基于层次存储介质的数据调度方法，其特征在于，所述方法包括如下步骤：

存储自动分级：集群启动，根据主机名将各个节点划分为不同的存储层次；

定向存取：选择距离近、存储层次高的空闲节点存储和读取文件；

监控数据访问操作：记录文件访问信息，并判断迁移时机是否到来，若迁移时机到来，则执行下述操作；

数据估值：根据访问记录，使用信息估值模型对数据进行估值；

数据迁移：根据所述数据的估值结果，判断数据的位置是否满足数据越热存储层次越高的特点，若不满足，则进行数据迁移，使得数据的位置满足数据越热存储层次越高的特点。

2.根据权利要求1所述的基于层次存储介质的数据调度方法，其特征在于，所述方法还包括：

自适应调整：数据迁移完成后，根据迁移结果更新相关信息，重新启动监控。

3.根据权利要求1所述的基于层次存储介质的数据调度方法，其特征在于，在存储自动分级时，所述存储层次至少包括2级，存储层次的划分标准为：存储层次越高，访问性能越好，处理用户请求的响应时间越短。

4.根据权利要求1所述的基于层次存储介质的数据调度方法，其特征在于，所述信息估值模型中所用到的模型的建立方法为：

利用搜集到的文件访问记录进行建模，计算出一个反映数据热度的数值，所述数值越大，说明所述数值对应的数据以后的访问概率就越大。

5.根据权利要求1所述的基于层次存储介质的数据调度方法，其特征在于，在数据迁移时，通过队列过滤模型和路径匹配模型，在信息估值模型处理后得到的数值队列的基础上，形成具体的数据迁移任务，利用迁移控制模型完成数据迁移。

6.根据权利要求5所述的基于层次存储介质的数据调度方法，其特征在于，所述队列过滤模型为：根据阈值过滤掉不需要迁移的数据分段，所述阈值反映了本存储层次上前一次的迁移结果，过滤后形成的队列中所有数据分段都已经确定迁移方向，所述迁移方向为全相连模式。

7.根据权利要求5所述的基于层次存储介质的数据调度方法，其特征在于，所述路径匹配模型为：在队列中所有数据分段都确定了迁移方向后，如果系统中该数据分段有多个副本，确定距离较近的迁移源和迁移目标，迁移源优先选择剩余空间较少、负载轻的节点，迁移目标优先选择负载轻的节点。

8.根据权利要求5所述的基于层次存储介质的数据调度方法，其特征在于，所述迁移控制模型为：进行迁移速率控制，使用多线程分批次执行所述数据迁移任务，降低迁移过程对集群中节点访问性能的影响。

9.根据权利要求8所述的基于层次存储介质的数据调度方法，其特征在于，所述多线程是指使用线程池的方法并发执行迁移任务，每个具体的迁移任务是指两个节点间的某数据分段置换的过程；

分批次执行所述数据迁移任务包括如下步骤：

A、限定集群中同一时刻用于迁移的线程数，使得迁移只在集群的局部范围内发生，减少对集群整体服务质量的影响；

B、限定节点上同一时刻用于迁移的线程数，使得节点仅有少量的资源用于迁移，减少对该节点所能提供服务质量的影响。

10.根据权利要求2所述的基于层次存储介质的数据调度方法，其特征在于，所述根据迁移结果更新相关信息，重新启动监控的步骤具体为：

存储数据的估值结果，以备下一次估值时使用；

对于已经被删除的数据，在系统所保留的访问记录中删除；

根据迁移的实际情况进行各存储层次的阈值更新；

唤醒监视进程，等待下一次数据迁移的到来。