[发明专利]基于ZooKeeper的分布式数据交换方法

说明书

本申请公开了一种基于ZooKeeper的分布式数据交换方法。首先在分布式系统中构建集群化的ZooKeeper服务端，并建立客户端与服务器的连接，连接成功后保存会话连接；其中，ZooKeeper的视图结构使用的数据节点方式为Znode；基于ARP协议配置ZooKeeper服务端中每台服务器的IP地址，其中包括真实IP地址和虚拟IP地址；启动服务器的ARP缓存，从ZooKeeper会话中连接Master节点IP，并通过轮询方式推荐Slave节点IP；基于推荐Slave节点IP在集群化的ZooKeeper服务端中获取可用服务器，并根据所获取的可用服务器与客户端完成交互。可以看出，本发明可以帮助用户在海量数据中，通过大数据分析得到目标数据。

技术领域

本发明涉及数据处理领域，特别涉及一种基于ZooKeeper的分布式数据交换方法。

背景技术

随着信息化和大数据技术的快速发展，数据的重要性不言而喻，我们通过对数据进行汇总和分析使得数据的价值得以体现。然而多数情况下，存在着数据多源性、类型多样性等特点，为使数据分析结果准确，就需要数据采集交换的完备性和及时性作为保证。因此，数据采集交换的稳定性和可靠性显得尤为重要。

在实际发明落地过程中，由于数据量越来越多，个别维度数据已经达到了PB级，在计算环境没法升级的情况下，系统模型分析的速度有逐步下降的趋势，此时对大数据和大数据组件的优化，成了我们的必不可少的工作。

发明内容

基于此，本申请实施例提供了一种基于ZooKeeper的分布式数据交换系统，帮助用户在海量数据中，更高效的通过大数据分析得到目标数据。

本申请提供了一种基于ZooKeeper的分布式数据交换方法，该方法包括：

在分布式系统中构建集群化的ZooKeeper服务端，并建立客户端与服务器的连接，连接成功后保存会话连接；其中，ZooKeeper的视图结构使用的数据节点方式为Znode；所述ZooKeeper的节点构成的文件系统层级为树状结构，用于存储交换服务各节点的地址信息以及数据交换任务的执行位置和状态；

基于ARP协议配置ZooKeeper服务端中每台服务器的IP地址，其中包括真实IP地址和虚拟IP地址；

启动服务器的ARP缓存，从ZooKeeper会话中连接Master节点IP，并通过轮询方式推荐Slave节点IP；

基于推荐Slave节点IP在集群化的ZooKeeper服务端中获取可用服务器，并根据所获取的可用服务器与客户端完成交互。

可选地，所述基于ARP协议配置ZooKeeper服务端中每台服务器的IP地址，包括：

使用虚拟IP和Zookeeper实现集群HA，所述HA使用双机集群的方式，其中，一台为Master节点，负责对外提供服务，另一台为MasterBak节点，负责备份Master中的数据。

可选地，所述使用虚拟IP和Zookeeper实现集群HA，包括：

利用两台服务器向集群化的ZooKeeper服务端创建同名ZNode节点，根据ZNode的唯一性将节点创建成功的服务器作为Master节点，另一台服务器作为MasterBak节点。

可选地，将分布式系统中集群化的ZooKeeper服务端中的每个节点划分为Leader节点、Follower节点和Observer节点；

所述Leader节点用于调度集群内部各台服务器，并对事务请求进行调度和处理，同时保证事务处理的FIFO；

所述Follower节点用于指定Leader节点，并参与客户端事务请求投票，处理客户端非事务请求，以及转发事务给Leader服务器；