[发明专利]数据信息的同步方法、装置、电子设备和介质

说明书

本公开提供了一种数据信息的同步方法，应用于控制服务器，包括：响应于同步请求，将源集群的多组待同步数据信息导出为对应的多个元数据文件，不同组的待同步数据信息与部署于源集群中不同的特定组件对应，且与不同的源管理节点对应；控制源集群将导出的多个元数据文件分别传输至目标集群的目标管理节点，不同的元数据文件与部署于目标集群中不同的特定组件对应，且与不同的目标管理节点对应；将与多个元数据文件对应的原配置参数修改为目标配置参数，以生成对应的多个目标元数据文件，原配置参数与源集群对应，目标配置参数与目标集群对应；将多个目标元数据文件分别导入至对应的目标管理节点。还提供了一种数据信息的同步装置，电子设备及介质。

技术领域

本公开涉及大数据技术领域，特别是涉及一种数据信息的同步方法、装置、电子设备和介质。

背景技术

随着企业业务的不断扩展深入，在运营管理和生产过程中将会不断地产生海量的数据，能否高效且快速地对这些产生的海量数据进行存储、整理、分析和计算，在一定程度上将直接影响到大数据在实际应用中的价值和作用。

相关技术中对大数据进行管理的方式之一是使用基于Hadoop的集群技术建立数据仓库或者数据集市。Hadoop是一种分布式系统的基础架构，可以将大量的数据分布到不同的机器上进行处理。Hadoop集群包括多个不同的生态组件，例如LDAP(LightweightDirectory Access Protocol，轻型目录访问协议)、HIVE、HDFS(Hadoop Distributed FileSystem，分布式的文件系统)以及YARN(Yet Another Resource Negotiator，另一种资源协调者)。其中，LDAP是一个开放的，中立的，工业标准的应用协议，通过IP(InternetProtocol，网际互连协议)提供访问控制和维护分布式信息的目录信息。HIVE是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供结构化查询语言(Structured Query Language，SQL)的查询功能。HDFS是适合运行在通用硬件(commodity hardware)上的分布式的文件系统，与现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。YARN的本质是资源管理器，用于控制整个集群并管理应用程序向基础计算资源的分配。

随着数据量的不断增长，Hadoop集群的数量也呈现出日益增多的趋势，如何在多个Hadoop集群之间的实现生态组件的元数据信息同步可以提高Hadoop集群的数据管理效率，因此也成为必须要关注的一个研究方向。但是，相关技术中并无成型的技术方案可以将一个Hadoop集群包含的生态组件的元数据信息同步给另一个Hadoop集群的生态组件。

发明内容

有鉴于此，为了填补在现有分布式集群体系中，业界无成型的技术方案将多个Hadoop集群之间的生态组件的元数据进行同步的空白，并因此实现将多个Hadoop集群之间的生态组件的元数据进行同步的技术效果，本公开提供了一种数据同步方法、装置、电子设备和介质。与现有技术不同，本公开提供的数据同步方法，用于在不同的Hadoop集群之间实现各生态组件的元数据同步，而且是一种可视化、定制化以及自动化的数据同步方法，使得用户可以使用基于Web的图形界面、可选式的进行不同分布式环境下Hadoop集群的任意一个或者多个生态组件的元数据的同步。