[发明专利]面向云计算环境的分层存储系统中的数据迁移方法

权利要求书

1.一种面向云计算环境的分层存储系统中的数据迁移方法，其特征在于，所述分层存储系统包括在线业务平台和大数据平台，所述数据包括结构化数据和非结构化数据并且在所述在线业务平台与所述大数据平台之间进行迁移，所述方法包括：

确定待迁移的数据的类型；以及

根据所述数据的类型而在所述在线业务平台与所述大数据平台之间进行迁移，其中，在确定待迁移的数据为结构化数据时，采用MapReduce架构来实现并行迁移，而在确定待迁移的数据为非结构化数据时，采用FTP方式来实现并行迁移，

其中，在非结构化数据迁移的过程中采用增量数据迁移方法，同步所述在线业务平台和所述大数据平台的时间，将已经超过生命期的在线业务平台上的数据迁移到大数据平台，

其中，对结构化数据采用MapReduce架构并行地进行迁移，将大量的数据复制到Hadoop，复制工作由集群并行运行的映射任务完成，

其中，结构化数据迁移的过程中采用资源调度算法进行负载均衡，检查现有磁盘的负载使用情况，如果磁盘IO已经超过了一定阈值，则不再分配映射任务。

2.如权利要求1所述的数据迁移方法，其中，所述在线业务平台配置成存储近期的数据，而所述大数据平台配置成存储长时期的业务数据。

3.如权利要求1所述的数据迁移方法，其中，采用MapReduce架构来实现并行迁移包括：

获取待转移的数据源和约束参数；

收集配置信息并且根据所述配置信息来相应地设置所述MapReduce架构中的任务的配置信息；以及

调用所述任务来进行数据迁移。

4.如权利要求3所述的数据迁移方法，其中，所述约束参数包含映射的个数要求。

5.如权利要求3所述的数据迁移方法，其中，所述任务的配置信息包括输入地址、输出地址、映射器所使用类、输入数据的格式以及输出数据的格式。

6.如权利要求1所述的数据迁移方法，其中，采用FTP方式来实现并行迁移包括：

获取配置文件，其中所述配置文件包含数据迁移源数据文件夹地址、并发过程所采用的线程数量、迁移目的数据文件夹地址以及数据迁移后文件的命名方式；

对所述配置文件进行解析；

根据解析后的配置文件，建立FTP连接。

7.如权利要求6所述的数据迁移方法，其中，采用FTP方式来实现并行迁移还包括：

在对所述配置文件进行解析后，判断所要迁移的文件列表是否为空；

其中，如果为空，则结束迁移，反之则启动配置文件中指定个数的线程数进行数据迁移。

8.如权利要求6所述的数据迁移方法，其中，采用FTP方式来实现并行迁移还包括：

在建立FTP连接后，判断迁移是否成功；

其中如果成功，则结束数据迁移，反之则将迁移错误信息打印到日志文件中。