[发明专利]HDFS数据的转移方法及装置、存储介质、电子设备

说明书

本发明公开了一种HDFS数据的转移方法及装置、存储介质、电子设备，属于云计算领域。其中，该方法包括：将Hadoop分布式文件系统HDFS数据从源Hadoop集群转移至目标Hadoop集群；判断所述源Hadoop集群的第一名称服务信息与所述目标Hadoop集群的第二名称服务信息是否一致；若判断所述源Hadoop集群的第一名称服务信息与所述目标Hadoop集群的第二名称服务信息不一致，基于所述第二名称服务信息配置所述HDFS数据在所述目标Hadoop集群的数据仓库H i ve元数据。通过本发明，解决了相关技术在数据转移后需要手动配置H i ve元数据的技术问题，提高了H i ve元数据的配置效率，在HDFS数据转移到目标Hadoop集群后，不用手动更新，在目标Hadoop集群中直接就可以进行使用和查询。

技术领域

本发明涉及云计算领域，具体而言，涉及一种HDFS数据的转移方法及装置、存储介质、电子设备。

背景技术

相关技术中，Hadoop实现了一个分布式文件系统(HDFS，Hadoop DistributedFile System，Hadoop分布式文件系统)，其中一个组件是HDFS，HDFS有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上；而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序，而Hive是一种基于HDFS存储的数据库服务。

相关技术中，Hive元数据中,数据存储路径记录的是带有HDFS nameservice(名称服务)的完整URL(Uniform Resource Locator，统一资源定位符)信息，例如:hdfs://hadoop-demo/path/to/hive/data/，在备份或迁移数据HDFS数据时,需要同时对Hive元数据进行备份迁移，如果新集群的HDFS nameservice与旧集群不一致,要想HDFS数据在新Hadoop集群中直接就可以进行使用和查询，需要针对整条URL信息进行修改，重新手动逐条改写HDFS数据在新集群中的Hive元数据，导致数据转移时间长。

针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。

发明内容

本发明实施例提供了一种HDFS数据的转移方法及装置、存储介质、电子设备。

根据本申请实施例的一个方面，提供了一种HDFS数据的转移方法，包括：将Hadoop分布式文件系统HDFS数据从源Hadoop集群转移至目标Hadoop集群；判断所述源Hadoop集群的第一名称服务信息与所述目标Hadoop集群的第二名称服务信息是否一致；若判断所述源Hadoop集群的第一名称服务信息与所述目标Hadoop集群的第二名称服务信息不一致，基于所述第二名称服务信息配置所述HDFS数据在所述目标Hadoop集群的数据仓库Hive元数据。

进一步，基于所述第二名称服务信息配置所述HDFS数据在所述目标Hadoop集群的数据仓库Hive元数据包括：在所述目标Hadoop集群的服务器节点中查询指定配置文件，其中，所述指定配置文件用于存储所述目标Hadoop集群的Hive配置参数；在所述指定配置文件中采用所述第二名称服务信息配置所述HDFS数据在所述目标Hadoop集群中的第一元数据字段，其中，所述第一元数据字段用于表征所述HDFS数据指向的名称节点IP。

进一步，在将HDFS数据从源Hadoop集群转移至目标Hadoop集群之后，所述方法还包括：获取所述HDFS数据在所述源Hadoop集群中的数据库地址；基于所述数据库地址在所述目标Hadoop集群中配置所述HDFS数据的Hive元数据。

进一步，基于所述数据库地址在所述目标Hadoop集群中配置所述HDFS数据的Hive元数据包括：将所述数据库地址复制到所述目标Hadoop集群的数据库中，并将所述数据库地址配置为所述HDFS数据在所述目标Hadoop集群中的Hive元数据，其中，所述数据库地址与所述HDFS数据在所述目标Hadoop集群中的统一资源定位符URL地址对应。