[发明专利]一种云数据迁移方法

说明书

技术领域

本发明涉及数据存储技术领域，具体地说是一种实用性强的云数据迁移方法。

背景技术

具备高可靠性及可扩展性的海量数据存储对互联网公司来说是一个巨大的挑战，传统的数据库往往很难满足该需求，并且很多时候对于特定的系统绝大部分的检索都是基于主键的的查询，在这种情况下使用关系型数据库将使得效率低下，并且扩展也将成为未来很大的难题。在这样的情况下，使用存储将会是一个很好的选择。对部署在云环境的存储系统而言，数据迁移是实现节点动态扩展与弹性负载均衡的关键技术，主要包括迁移计划(migrationplan)制定、路由信息同步、用户请求转发及数据一致性管理等核心内容。数据迁移过程中伴随的大量状态同步会给系统性能带来一定影响，因此，如何有效降低迁移开销是云服务提供商需着力解决的问题。然而，存储系统的有状态性、新的虚拟化环境、用户严格的低延迟要求以及访问负载的不可预知性和时变性给数据迁移带来了新的挑战。

现有的很多算法为了解决数据迁移的时间和系统资源消耗问题，有以下几种方法：1)针对存储服务数据迁移过程中的QoS保障问题,作者提出了一种基于反馈控制的方法,周期性地求解满足QoS约束的最优迁移速率，主要关注迁移带宽的控制问题。2)基于贪心法的数据迁移策略，主要针对Key/Value存储系统的数据迁移问题,基本思想是,采用统计方法在线监测热点分区,优先将热点分区的部分数据迁移至负载较轻的邻居节点.为简化迁移操作的复杂度,哈希算法会保持Key值间的先后顺序.这两部分工作的主要不足在于未考虑迁移开销。

对云存储系统而言，数据迁移是实现节点动态扩展与弹性负载均衡的关键技术。如何降低系统开销是云服务提供商需着力解决的问题。虽然已有研究工作大多针对非虚拟化环境下的数据迁移问题，但是这些方法对于云存储系统而言往往并不适用。为应对上述挑战，将数据迁移问题纳入负载均衡场景解决。提出一种降低系统开销保持系统性能的数据迁移策略，该发明基于均衡度制订数据迁移策略，选取最优的数据迁移操作，以达到系统的负载均衡。

发明内容

本发明的技术任务是针对以上不足之处，提供一种实用性强、云数据迁移方法。

一种云数据迁移方法，其具体实现过程为：

将一个文件分为一个或数个块来存储，每个块是独立的存储单位,以块为单位在集群服务器上分配存储；将每个块作为一个分区，并将分区作为是数据迁移和负载监测的基本单位；

将所有存储节点按照标准化后的负载值与系统总节点数的关系分别归入迁入节点集合In_set和迁出节点集合Out_set；

在云环境中各节点之间通过数据迁移算法达到系统负载的均衡，即将Out_set中各节点中的部分数据迁移到In_set中各节点上，该迁移过程通过数据迁移算法计算每个数据分区在节点间迁移的最小资源消耗来控制全局和局部搜索最终实现系统的资源最优化。

所述数据迁移算法具体为：

首先对所有迁入节点进行初始化，在该初始阶段，存储系统依据所有存储节点标准化后的负载值与1/n的关系初始化N个迁入节点,即N侦查报文发现N个食物源；此时，N侦察报文变为引领报文，一个引领报文对应一个迁入节点；

所有引领报文将相关信息发送给迁出节点，这里的相关信息包括：迁出节点的位置信息、带宽、待迁入节点可迁入数据量；

迁出节点根据所有迁入节点的收益率，以一定的概率选择某个迁入节点，即选择收益率高的迁入节点；当引领报文发现的迁入节点在连续若干次迭代后，没有得到更新时，就放弃该迁入节点，对应的引领报文成为侦查报文，继续去寻找新的迁入节点。

所述数据迁移前，存储系统检测负载均衡度，该负载均衡度设有阈值，当达到设置的阈值时，触发数据迁移动作。

所述负载均衡度的具体检测过程为：

1)节点i的实际负载值为b_i，首先根据以下公式对各节点进行无量纲化处理，其中B_i为节点i可承受最大负载：

l_i＝b_i/B_i；

2)根据以下公式对各节点负载作标准化处理：

p＝{p1,p2,p3,…,pn}为标准化后的节点负载，n为集群节点数；

3)采用信息熵表表征集群的负载分布情况，其计算方式见以下公式，熵值越高，表明负载分布越趋于均匀；而熵值越低，则表明负载分布越不均：

当pi＝1/n(i＝1，2，3，…，n)，即各节点负载相等时，系统取得最大熵值H(P)max＝log(n)；