[发明专利]一种分布式数据库数据同步的管理方法

说明书

本发明公开了一种分布式数据库数据同步的管理方法，属于分布式数据库系统技术领域。本发明的分布式数据库数据同步的管理方法，基于Gossip协议，集群内所有节点基于Gossip协议建立网络连接和元数据同步，通过周期性的检查节点的网络连接状况，对影响网络性能的连接进行调整。该发明的分布式数据库数据同步的管理方法能够提高全对等架构下节点之间的通信效率，保证分布式数据库高并发高可用等特性，具有很好的推广应用价值。

技术领域

本发明涉及分布式数据库系统技术领域，具体提供一种分布式数据库数据同步的管理方法。

背景技术

分布式数据库系统通常在逻辑上是一个统一的整体，在物理上则是分别存储在不同的物理节点上，其主要设计目标是可扩展，强一致和高可靠。数据库中的数据分别在不同的局部数据库中存储、由不同的数据库管理系统进行管理、在不同的机器上运行、由不同的操作系统支持、被不同的通信网络连接在一起。Shared nothing架构是一种常见的分布式数据库架构。这种架构中的每一个节点都是独立、自给的，而且整个系统中没有单点竞争。每个节点都有自己私有的CPU、内存、硬盘等，不存在共享资源，各处理单元之间通过协议通信，并行处理和扩展能力更好。各节点相互独立，各自处理自己的数据，处理后的结果可能向上层汇总或在节点间流转。

为了达到分布式数据库的特性，每个节点都需要知晓整个集群内的运行信息，包括集群整体配置信息、节点配置信息、节点健康情况、存储使用情况、描述存储数据位置的数据信息、节点网络连接情况等，这些数据信息区别于用户数据称之为元数据信息。为了实现上述功能目前的Shared nothing分布式数据库系统通常在集群内单独设计一个键值对map来存储这些数据，通过gossip协议不断将最新的元数据同步给直连的节点，具体来说一个节点在启动时会对集群内某个指定节点发起网络连接，这两个节点分别称为服务端和客户端。考虑到一个节点的网络连接太多会影响性能，服务端可连接的客户端通常会有限制。当服务端已达到最大连接数后，新的客户端对服务端发起连接，这时服务端会在当前已连接的客户端列表中随机选择一个作为新的服务端，该服务端和客户端建立网络连接。元数据通过各个服务端和客户端的不断交互最终同步到集群内所有节点。

在节点同步的过程中可能存在如下问题，当集群规模很大时，服务端的网络连接一直是饱和的，新的客户端不断连接在旧客户端下，这样集群内相距最远的两个节点发起数据同步时需要经过多个中间节点，造成数据的同步延迟，当中间节点网络不佳时甚至会发生数据丢失。该问题影响了分布式数据库系统的高可用高并发等特性。

发明内容

本发明的技术任务是针对上述存在的问题，提供一种能够提高全对等架构下节点之间的通信效率，保证分布式数据库高并发高可用等特性的分布式数据库数据同步的管理方法。

为实现上述目的，本发明提供了如下技术方案：

一种分布式数据库数据同步的管理方法，该方法基于Gossip协议，集群内所有节点基于Gossip协议建立网络连接和元数据同步，通过周期性的检查节点的网络连接状况，对影响网络性能的连接进行调整。

作为优选，该分布式数据库数据同步的管理方法具体包括以下步骤：

S1、计算集群的网络拓扑的最大深度；

S2、判断最大深度是否超过可维持现状的最大值，若是则执行步骤S3，否则维持现状；

S3、计算跳数最远的节点；

S4、计算贡献最小的节点，并断开网络连接；

S5、发起新的连接，并返回步骤S1。

作为优选，步骤S1中，在KV map存储每条数据时引入跳数属性，每条数据在生成时跳数设置为0，每同步到一个节点时跳数加1并存储到该节点，该节点间该条数据继续同步到直连的节点。