[发明专利]迁移脚本构建方法、装置、计算机设备及可读存储介质

说明书

本发明涉及云存储技术领域，公开了一种迁移脚本构建方法、装置、计算机设备及可读存储介质，包括：获取第一集群中保存集群数据的迁出地址，及获取第二集群中用于接收集群数据的迁入地址，构建迁出地址和迁入地址之间的映射关系；提取第一集群中的管理脚本文件，根据映射关系将管理脚本文件中的迁出地址修改为迁入地址，并将迁出地址作为迁入地址的映射标注，使管理脚本文件转为迁移脚本文件；将迁移脚本文件部署到第二集群中，以作为第二集群的迁移脚本。本发明避免了当前因人工迁移数据，导致迁移效率低下，数据迁移错误率较高的情况发生。

技术领域

本发明涉及云存储技术领域，尤其涉及一种迁移脚本构建方法、装置、计算机设备及可读存储介质。

背景技术

跨集群迁移数据,操作其中涉及到数据迁移,metastore迁移,hive版本升级等问题。目前集群数据迁移主要是对原始数据原封不动地进行迁移，方案大多数采用的是HiveExport等将数据文本导出到指定的HDFS目录，再使用诸如hadoop distcp命令将数据文本传输到新的集群，最后使用Hive Import将数据文本导入到hive表中，修改对应数据库在hdfs上的存储路径。发明人意识到，现有技术因需要人工修改存储路径且数据量庞大，将会导致数据迁移效率低下，错误率高的问题发生。

发明内容

本发明的目的是提供一种迁移脚本构建方法、装置、计算机设备及可读存储介质，用于解决现有技术存在的因需要人工修改存储路径且数据量庞大，导致数据迁移效率低下，错误率高发生的问题。

为实现上述目的，本发明提供一种迁移脚本构建方法，所述迁移脚本用于将第一集群的数据迁移至第二集群，包括：

获取所述第一集群中保存集群数据的迁出地址，及获取所述第二集群中用于接收所述集群数据的迁入地址，构建所述迁出地址和所述迁入地址之间的映射关系；

提取所述第一集群中的管理脚本文件，根据所述映射关系将所述管理脚本文件中的迁出地址修改为迁入地址，并将所述迁出地址作为所述迁入地址的映射标注，使所述管理脚本文件转为迁移脚本文件；

将所述迁移脚本文件部署到所述第二集群中，以作为所述第二集群的所述迁移脚本。

上述方案中，所述获取所述第一集群中保存集群数据的迁出地址，及获取所述第二集群中用于接收所述集群数据的迁入地址，构建所述迁出地址和所述迁入地址之间的映射关系，包括：

从所述第一集群中导出所有第一数据库的第一库名，以及所述第一数据库下所有第一数据表的第一表名，根据所述第一库名和所述第一表名构建第一库表信息；

从所述第二集群中导出所有第二数据库的第二库名，以及所述第二数据库下所有第二数据表的第二表名，根据所述第二库名和所述第二表名构建第二库表信息；

接收控制端发送的迁移信息，所述迁移信息中包括起点位置信息和终点位置信息；识别所述第一库表信息中与所述起点位置信息对应的第一库名及第一表名，并将所述第一库名及第一表名设为迁出地址；识别所述第二库表信息中与所述终点位置信息对应的第二库名及第二表名，并将所述第二库名及第二表名设为所述迁入地址；

将所述迁出地址和所述迁入地址录入预置的映射表中，并在所述映射表中将所述迁出地址和所述迁入地址关联，用以构建所述迁出地址和所述迁入地址之间的映射关系。

上述方案中，所述根据所述映射关系将所述管理脚本文件中的迁出地址修改为迁入地址，并将所述迁出地址作为所述迁入地址的映射标注，使所述管理脚本文件转为迁移脚本文件，包括：

提取并复制所述第一集群中的管理脚本文件得到中间脚本文件，识别所述中间脚本文件中的位置字段，并获取与所述位置字段对应的迁出地址；

从所述映射关系中获得与所述迁出地址对应的迁入地址；