[发明专利]数据迁移方法、装置、设备及计算机可读存储介质

权利要求书

1.一种数据迁移方法，其特征在于，所述数据迁移方法包括：

循环读取预设配置文件，当从所述预设配置文件中读取到迁入消息时，获取所述迁入消息中的迁出集群服务器；

调用第一预设框架远程登录至所述迁出集群服务器，以在所述迁出集群服务器上执行查询所述迁入消息中库表的建表语句，并将所述建表语句输出至所述迁出集群服务器的预先指定文件下的指定目录中；

调用第二预设框架对所述迁出集群服务器上的建表语句进行同步，并对同步后的建表语句进行表格式化解析，以得到迁移信息和可执行的建表语句；

执行所述可执行的建表语句，以创建对应的hive表，并基于所述迁移信息将对应的数据文件迁移至所述hive表中。

2.如权利要求1所述的数据迁移方法，其特征在于，所述迁移信息包括分区信息和数据文件存储位置，所述基于所述迁移信息将对应的数据文件迁移至所述hive表中的步骤包括：

判断所述分区信息为不存在分区还是为存在分区；

若所述分区信息为不存在分区，则调用预设接口，获取与所述数据文件存储位置对应的数据文件，并将获取到的数据文件迁移至所述hive表中。

3.如权利要求2所述的数据迁移方法，其特征在于，所述判断所述分区信息为不存在分区还是为存在分区的步骤之后，还包括：

若所述分区信息为存在分区，则调用所述第一预设框架远程登录至所述迁出集群服务器，以在所述迁出集群服务器上执行查询所述库表的分区值，并将所述分区值输出至所述迁出集群服务器的预先指定文件下的指定目录中；

调用所述第二预设框架对所述迁出集群服务器上的分区值进行同步，并对同步后的分区值进行分区格式化解析，以得到可执行的添加分区的命令；

执行所述添加分区的命令，以在所述hive表中添加对应的分区；

调用所述预设接口，获取与所述数据文件存储位置对应的数据文件，并将获取到的数据文件迁移至所述hive表对应的分区中。

4.如权利要求2所述的数据迁移方法，其特征在于，所述数据迁移方法还包括：

通过所述预设接口获取迁移前数据文件的大小和迁移后数据文件的大小；

检测所述迁移前数据文件的大小和所述迁移后数据文件的大小是否相一致；

若所述迁移前数据文件的大小和所述迁移后数据文件的大小不一致，则生成对应的错误提示信息。

5.如权利要求2至4中任一项所述的数据迁移方法，其特征在于，所述第一预设框架为expect+ssh框架，所述第二预设框架为expect+scp框架，所述预设接口为分布式拷贝distcp接口。

6.一种数据迁移装置，其特征在于，所述数据迁移装置包括：

第一获取模块，用于循环读取预设配置文件，当从所述预设配置文件中读取到迁入消息时，获取所述迁入消息中的迁出集群服务器；

远程登录模块，用于调用第一预设框架远程登录至所述迁出集群服务器，以在所述迁出集群服务器上执行查询所述迁入消息中库表的建表语句，并将所述建表语句输出至所述迁出集群服务器的预先指定文件下的指定目录中；

语句同步模块，用于调用第二预设框架对所述迁出集群服务器上的建表语句进行同步，并对同步后的建表语句进行表格式化解析，以得到迁移信息和可执行的建表语句；

数据迁移模块，用于执行所述可执行的建表语句，以创建对应的hive表，并基于所述迁移信息将对应的数据文件迁移至所述hive表中。

7.如权利要求6所述的数据迁移装置，其特征在于，所述迁移信息包括分区信息和数据文件存储位置，所述迁移模块包括：

信息判断单元，用于判断所述分区信息为不存在分区还是为存在分区；

第一迁移单元，用于若所述分区信息为不存在分区，则调用预设接口，获取与所述数据文件存储位置对应的数据文件，并将获取到的数据文件迁移至所述hive表中。