[发明专利]一种基于海量数据的数据迁移方法及系统

说明书

本发明公开了一种基于海量数据的数据迁移方法，包括：所述中心云对热点事件进行预测，并输出对应的热点数据组；所述中心云将所述热点数据组导入到HDFS存储引擎中；所述HDFS存储引擎将所述热点数据组迁移至所述分布式数据仓库中；所述分布式数据仓库将所述热点数据组分发至所述边缘云集群中，以使所述边缘云集群为用户设备提供所述热点数据组。

技术领域

本发明属于信息技术领域，具体地，涉及一种基于海量数据的数据迁移的方法及系统。

背景技术

大数据是指一种规模大到在获取、存储、分析方面大大超出了传统数据库软件工具(如MySQL，Oracle，PostgreSQL等)能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征；是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

近年来，基于大数据的数据存储、数据迁移、数据读取等研究已经进入了一个高速发展期，但很多技术层面的问题还需要解决，发明人在研究过程中发现，针对突发性的热点事件带来的瞬间流量激增，会导致大数据的读取和数据迁移造成短时期拥塞，目前却缺乏有效的预警机制来拒绝此类现象。

发明内容

本发明提供了一种基于海量数据的数据迁移的方法及系统，解决了现有技术中海量数据场景下热点事件产生数据读取和传输拥塞的问题，有效降低了拥塞问题，提升用户体验。

为了实现上述目的，本发明提供了一种基于海量数据的数据迁移的方法，应用于数据迁移系统，所述系统包括中心云、HDFS存储引擎、分布式数据仓库及边缘云集群，该方法包括：

在第一周期内，

步骤1：所述中心云对热点事件进行预测，并输出对应的热点数据组；

步骤2：所述中心云将所述热点数据组导入到HDFS存储引擎中；

步骤3：所述HDFS存储引擎将所述热点数据组迁移至所述分布式数据仓库中；

步骤4：所述分布式数据仓库将所述热点数据组分发至所述边缘云集群中，以使所述边缘云集群为用户设备提供所述热点数据组；

在第二周期内，

重复上述步骤1-3，以使所述分布式数据仓库将第二周期内的热点数据组分发至所述边缘云集群中，其中，所述第二周期的热点数据组不同于所述第一周期的热点数据组。

可选地，若所述分布式数据仓库预先存储了所述热点数据组，则所述HDFS存储引擎将所述热点数据组迁移至所述分布式数据仓库中，包括：

所述HDFS存储引擎获取所述热点数据组的ID和优先级参数；

所述HDFS存储引擎将所述热点数据组的优先级参数进行调整，并将所述调整后的优先级参数和所述热点数据组的ID通过指令导入到所述分布式数据仓库中，以使所述分布式数据仓库基于所述热点数据组的ID和优先级参数，寻找并更新所述热点数据组的优先级参数。

可选地，所述分布式数据仓库分为范围分区和哈希分区，则所述将所述调整后的优先级参数和所述热点数据组的ID通过指令导入到所述分布式数据仓库中，包括：

将所述热点数据组的ID写入至所述分布式数据仓库的范围分区中，并将所述调整后的优先级参数写入至所述分布式数据仓库的哈希分区中。

可选地，若所述分布式数据仓库预先未存储所述热点数据组，则所述HDFS存储引擎将所述热点数据组迁移至所述分布式数据仓库中，包括：

所述分布式数据仓库设置监听程序，并将所述监听程序用于对所述HDFS存储引擎的文件记录表进行监听；

当监听到所述热点数据组记录在所述文件记录表中后，所述分布式数据仓库向所述HDFS存储引擎发送数据获取请求；