[发明专利]分布式数据库系统、数据库访问方法

说明书

本发明公开一种分布式数据库系统，由服务器端和客户端组成，服务器端包括元数据管理模块、存储模块和集群管理模块，元数据管理模块和存储模块均以集群方式工作运行，每个集群都拥有多个节点，且同一集群中的多个节点运行相同的服务，元数据管理模块和存储模块之间通过心跳互交，集群管理模块借助Zookeeper实现，客户端客户端通过网络请求首先连接至元数据管理模块，返回具体的存储模块信息后再向存储模块发起网络请求，存储模块完成对应的操作请求之后返回客户端操作结果。本发明将键值存储引擎LevelDB与分布式共识算法Raft相结合，提高了系统的读写时间，提高了KV数据库的可用性。

技术领域

本发明涉及数据库领域，具体的是分布式数据库系统、数据库访问方法。

背景技术

分布式数据库系统通常使用较小的计算机系统，每台计算机可单独放在一个地方，每台计算机中都可能有DBMS的一份完整拷贝副本，或者部分拷贝副本，并具有自己局部的数据库，位于不同地点的许多计算机通过网络互相连接，共同组成一个完整的、全局的逻辑上集中、物理上分布的大型数据库。分布式系统中最基础最重要的问题就是数据一致性。基于数据容灾和提高系统性能考虑，分布式系统中数据会有多个副本，如何保证副本数据的一致性就变得尤其重要。

分布式系统中因为节点位于不同的地域，通过网络通信进行信息交互，因此网络分区不可避免，此时就只能在一致性和可用性中做出权衡。若是优先考虑可用性，则可能存在数据不一致的时刻，一致性模型就变为最终一致性；若是优先考虑一致性，一致性模型就变为强一致性，但网络分区时无法保证一致性就会降低可用性，系统处于不可用状态。

发明内容

为解决上述背景技术中提到的不足，本发明的目的在于提供一种分布式数据库系统、数据库访问方法，本发明将键值存储引擎LevelDB与分布式共识算法Raft相结合，通过添加集群管理模块、网络通信模块构建分布式数据库系统，通过数据分区算法将数据分布到多个存储集群中，提供远大于单机存储容量的存储服务，通过Raft一致性算法来保证副本集内数据的强一致性，提高了分布式数据库的可用性。

本发明的目的可以通过以下技术方案实现：

一种分布式数据库系统，由服务器端和客户端组成，服务器端包括元数据管理模块、存储模块和集群管理模块，元数据管理模块和存储模块均以集群方式工作运行，每个集群都拥有多个节点，且同一集群中的多个节点运行相同的服务，元数据管理模块和存储模块之间通过心跳互交，客户端通过网络请求首先连接至元数据管理模块，返回具体的存储模块信息后再向存储模块发起网络请求，存储模块完成对应的操作请求之后返回客户端操作结果；

元数据管理模块负责分区信息的管理，请求路由和集群负载均衡，元数据管理模块处于集群的中心位置，元数据管理模块负责向Client和StorageServer提供当前元数据信息，包括数据分区信息，元数据集群成员信息等，保持与Storage Server的心跳通信，收集Storage Server的状态信息，如存储容量等，对集群进行负载均衡，当发生热点分区时将数据分布调整平衡；

存储模块负责Key-value数据库的读写请求，Storage Server以raft group方式管理，每个raft group中包括一个主副本节点和多个从副本节点，存储模块由多个storageserver group组成，每个group负责特定分区的读写请求；

存储模块的各个storage server group在心跳中上传group状态信息，方便元数据管理集群获取整个系统的运行状态，发现数据倾斜、热点数据之后，进行负载均衡。

服务器端还包括集群管理模块，主要借助Zookeeper实现，存储模块和元数据管理模块在启动时，在Zookeeper指定目录下创建znode，如果节点出现故障，不能与Zookeeper进行心跳联系，Zookeeper就会产生相应的报告信息，以此用于集群管理。