[发明专利]数据迁移方法、装置、设备及计算机可读存储介质

说明书

本发明公开了一种数据迁移方法、装置、设备及计算机可读存储介质。该方法包括：循环读取预设配置文件，当从所述预设配置文件中读取到迁入消息时，获取迁出集群服务器；调用第一预设框架远程登录至迁出集群服务器，以在迁出集群服务器上执行查询迁入消息中库表的建表语句，并将建表语句输出至迁出集群服务器的预先指定文件下的指定目录中；调用第二预设框架对迁出集群服务器上的建表语句进行同步，并对同步后的建表语句进行表格式化解析，得到迁移信息和可执行的建表语句；执行可执行的建表语句以创建对应的hive表，并基于迁移信息将对应的数据文件迁移至hive表中。本发明能解决现有的数据迁移方法迁移效率较低、无法按需批量迁移的问题。

技术领域

本发明涉及金融科技(Fintech)技术领域，尤其涉及一种数据迁移方法、装置、设备及计算机可读存储介质。

背景技术

随着计算机技术的发展，越来越多的技术(大数据、分布式、区块链Blockchain、人工智能等)应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性、实时性要求，也对技术提出了更高的要求。

随着信息技术的不断发展，信息的数据量持续增长，各种企业的数据也迎来了爆发式增长，因此，迫切需要运算处理大规模数据的能力。而Hadoop(海杜普)作为具有分布式存储和计算能力的开源项目，其采用并行计算框架进行高效的分布式计算，并拥有自己的分布式文件系统HDFS，可提供可扩展、健壮的数据存储，因而很快就得到各个行业的重视，被广泛应用于金融、商业、教育等领域。

分布式系统作为海量数据存储系统，需要解决的一个重要问题便是决定数据在集群中的分布策略，当某一数据库集群的存储能力和处理能力达到集群能力的上限，此时则需要通过数据迁移的方式缓解原有服务器的存储压力和负载压力。目前，在数据迁移过程中，通常是分别对hdfs数据文件和hive(是基于Hadoop的一个数据仓库工具)元数据两部分进行迁移的，具体的，先通过磁盘拷贝、distcp(分布式拷贝)等方式来跨大数据集群迁移dhfs数据文件，然后从hive metastore(一种存储hive元数据的服务)中批量导出迁移hive表结构和分区值(即hive元数据)。在上述数据迁移过程需人工分次输入待迁移的集群和库表，导致数据迁移效率也较低，无法做到按需批量迁移。

发明内容

本发明的主要目的在于提供一种数据迁移方法、装置、设备及计算机可读存储介质，旨在解决现有的数据迁移效率低、无法按需批量迁移的问题。

为实现上述目的，本发明提供一种数据迁移方法，所述数据迁移方法包括：

循环读取预设配置文件，当从所述预设配置文件中读取到迁入消息时，获取所述迁入消息中的迁出集群服务器；

调用第一预设框架远程登录至所述迁出集群服务器，以在所述迁出集群服务器上执行查询所述迁入消息中库表的建表语句，并将所述建表语句输出至所述迁出集群服务器的预先指定文件下的指定目录中；

调用第二预设框架对所述迁出集群服务器上的建表语句进行同步，并对同步后的建表语句进行表格式化解析，以得到迁移信息和可执行的建表语句；

执行所述可执行的建表语句，以创建对应的hive表，并基于所述迁移信息将对应的数据文件迁移至所述hive表中。

可选地，所述迁移信息包括分区信息和数据文件存储位置，所述基于所述迁移信息将对应的数据文件迁移至所述hive表中的步骤包括：

判断所述分区信息为不存在分区还是为存在分区；

若所述分区信息为不存在分区，则调用预设接口，获取与所述数据文件存储位置对应的数据文件，并将获取到的数据文件迁移至所述hive表中。

可选地，所述判断所述分区信息为不存在分区还是为存在分区的步骤之后，还包括：