[发明专利]一种提高大型分布式系统配置效率的方法

说明书

技术领域

本发明涉及互联网技术领域，尤其是涉及一种提高大型分布式系统配置效率的方法。

背景技术

随着社会的发展，互联网用户快速增长带动了互联网经济的蓬勃发展，移动互联网、电子商务、网络视频、品牌网络广告、网上招聘、网络游戏等在极短的时间得到快速发展并积累了众多用户，成为了人们生活中不可或缺的一部分。

让人们越来越关注互联网技术的更新，如何更好更快更方便的共享互联网资源，成为人们共同的焦点。

在建设大型分布式系统时，大量节点分布在不同区域的若干IDC机房，系统分别部署在这些IDC机房的节点上。当需要修改系统某个配置时，需要向全网成百上千的IDC 节点分发该配置，因此在大型分布式系统的参数配置具有工作量大，工作繁琐的特点。

该场景主要面临如下几个问题：

1.如何方便地收敛同步所有节点的配置。在不同的节点，有可能存在系统的配置版本不一致的问题，要在成百上千的节点中将系统的配置信息进行归纳整理是一项非常复杂的工作，需要付出大量的人力成本和时间成本。

2.如何保证所有节点配置的一致性。成百上千节点的配置修改工作，其工作量非常巨大，稍有不慎就可能导致配置不正确，因此配置修改的一致性很难得到保障。

3.如何处理跨区域的网络问题，可能存在部分节点网络不可达的问题，这样可能导致配置修改的操作无法完成；

4.如果保证配置的时效性，成百上千个节点的配置更新操作，是一项耗时的工作，这样就很难保证配置修改的时效性。

目前通常的做法是由系统管理员登录到不同节点的系统中，分别进行系统配置的修改，将系统配置一套一套地进行修改，这样不仅耗时耗力，而且很容易出错，配置的一致性也很难得到保障。

发明内容

本发明的目的在于提供一种提高大型分布式系统配置效率的方法，以解决上述背景技术中提出的问题和缺陷,形成一个统一的配置中心，配置信息通过版本机制管理，方便回溯和回滚。

为实现上述目的，本发明提供如下技术方案：

一种提高大型分布式系统配置效率的方法，设有一个统一的配置中心，配置中心通过协议把集群中的IDC节点分为三种状态，通过多个副本来保证配置信息的高可用和冗余备份；

当需要全网或灰度更新配置时，由控制端向该配置中心发起更新指令，由配置中心将此次更新的配置下发至其他IDC节点。

在上述技术方案中，配置中心把集群中的IDC节点分为三种状态，具体是指领导者、追随者、候选者，其中：领导者负责日志的同步管理，处理来自客户端的请求，与追随者通过心跳线保持联系；追随者负责响应领导者的日志同步请求，把从候选者到追随者的请求事务转发给领导者；候选者负责选举投票。

在上述技术方案中，一个IDC节点中部署有多台服务器，多台服务器构成一个IDC 节点。

在上述技术方案中，配置中心的配置信息为类似于文本文件的信息，配置中心将这些信息备份成另外一份或者多份，即为多个副本。

在上述技术方案中，当协议运行提供服务的时候只存在领导者与候选者两种状态；

刚启动时所有IDC节点均为追随者状态，启动时由一个节点从追随者转为候选者发起选举，配置中心通过协议选举一个领导者，然后给予他全部的管理复制日志的责任来实现一致性，领导者从客户端接收日志条目，把日志条目复制到其他服务器上，并且当保证安全性的时候告诉其他的服务器应用日志条目到他们的状态机中。

作为上述技术方案的优选，配置信息通过版本机制进行管理，用于方便回溯和回滚。

作为上述技术方案的优选，配置中心借助开源组件consul、通过gossip协议，将配置指标从配置中心同步到外围IDC节点，该协议保证配置在各IDC节点之间的最终一致性，同步时通过重试机制以适应跨区域网络的抖动异常。

作为上述技术方案的优选，在配置中心同步配置信息时，会启动Gossip服务，Gossip服务启动后会启动一个任务GossipTask，这个任务会周期性地与其他IDC节点进行通信。

作为上述技术方案的进一步说明，IDC节点接收到配置中心的配置信息之后，将该配置信息进一步分发至本IDC内部的各系统组件，具体实现过程如下：

Q1在IDC节点安装单独的程序(以下简称节点程序)用于接收配置信息；

Q2程序在接收到配置信息后，依次调用本IDC节点内所有设备的api接口，通过api 接口分发到IDC节点内部各系统组件，实现配置信息的更新。