[发明专利]一种基于海量数据的数据迁移方法及系统

权利要求书

1.一种基于海量数据的数据迁移方法，其特征在于，应用于数据迁移系统，所述系统包括中心云、HDFS存储引擎、分布式数据仓库及边缘云集群，所述方法包括：

在第一周期内，

步骤1：所述中心云对热点事件进行预测，并输出对应的热点数据组；

步骤2：所述中心云将所述热点数据组导入到HDFS存储引擎中；

步骤3：所述HDFS存储引擎将所述热点数据组迁移至所述分布式数据仓库中；

步骤4：所述分布式数据仓库将所述热点数据组分发至所述边缘云集群中，以使所述边缘云集群为用户设备提供所述热点数据组；

在第二周期内，

重复上述步骤1-3，以使所述分布式数据仓库将第二周期内的热点数据组分发至所述边缘云集群中，其中，所述第二周期的热点数据组不同于所述第一周期的热点数据组。

2.根据权利要求1所述的方法，其特征在于，若所述分布式数据仓库预先存储了所述热点数据组，则所述HDFS存储引擎将所述热点数据组迁移至所述分布式数据仓库中，包括：

所述HDFS存储引擎获取所述热点数据组的ID和优先级参数；

所述HDFS存储引擎将所述热点数据组的优先级参数进行调整，并将所述调整后的优先级参数和所述热点数据组的ID通过指令导入到所述分布式数据仓库中，以使所述分布式数据仓库基于所述热点数据组的ID和优先级参数，寻找并更新所述热点数据组的优先级参数。

3.根据权利要求2所述的方法，其特征在于，所述分布式数据仓库分为范围分区和哈希分区，则所述将所述调整后的优先级参数和所述热点数据组的ID通过指令导入到所述分布式数据仓库中，包括：

将所述热点数据组的ID写入至所述分布式数据仓库的范围分区中，并将所述调整后的优先级参数写入至所述分布式数据仓库的哈希分区中。

4.根据权利要求1所述的方法，其特征在于，若所述分布式数据仓库预先未存储所述热点数据组，则所述HDFS存储引擎将所述热点数据组迁移至所述分布式数据仓库中，包括：

所述分布式数据仓库设置监听程序，并将所述监听程序用于对所述HDFS存储引擎的文件记录表进行监听；

当监听到所述热点数据组记录在所述文件记录表中后，所述分布式数据仓库向所述HDFS存储引擎发送数据获取请求；

所述HDFS存储引擎在接收到所述数据获取请求后，将所述热点数据组封装为消息队列，并将所述消息队列迁移至所述分布式数据仓库中。

5.根据权利要求4所述的方法，其特征在于，所述将所述消息队列迁移至所述分布式数据仓库中，包括：

将所述消息队列通过kafka connect工具分为多个扇区，并将所述多个扇区并行写入所述分布式数据仓库中，并在所述分布式数据仓库中进行合并。

6.根据权利要求1所述的方法，其特征在于，所述边缘云集群包括多个边缘云及边缘云管理器，则在所述边缘云集群为用户设备提供所述热点数据组之后，所述方法还包括：

所述边缘云管理器对所述多个边缘云的KPI性能指标进行预测，并在预测到第一边缘云的KPI性能指标超过第一预设阈值后，设置负载均衡策略；

所述边缘云管理器基于所述负载均衡策略，将所述第一边缘云的存储内容发送至所述分布式数据仓库的临时分区中，其中，所述第一边缘云的存储内容不包括所述热点数据组；

所述分布式数据仓库将所述临时分区中的所述存储内容迁移至距离所述第一边缘云最近的一个或多个边缘云上，其中，所述一个或多个边缘云的KPI性能指标低于第二预设阈值，且所述第二预设阈值小于所述第一预设阈值。

7.根据权利要求6所述的方法，其特征在于，所述边缘云管理器对所述多个边缘云的KPI性能指标进行预测，包括：

使用隐马尔可夫模型HMM对所述多个边缘云的KPI性能指标进行预测。

8.根据权利要求1所述的方法，其特征在于，所述中心云对热点事件进行预测，并输出对应的热点数据组，包括：

所述中心云使用时间序列模型ARIMA对所述热点事件进行预测。