[发明专利]一种基于增量日志的日志管理方法及管理装置

说明书

本发明公开了一种基于增量日志的日志管理方法及装置，包括：在配置存储中心建立用于存储日志的记录根节点；获知服务器的配置信息更新后，所述记录根节点下建立至少一个叶子节点，在所述叶子节点下记录相应的日志，所述日志包括日志标识和日志内容，所述日志内容包括服务器标识和更新后的配置信息；通过协调线程监测到所述记录根节点中增加了新的叶子节点后，在所述协调线程中存储所述新的叶子节点中的日志内容；各服务器监测到所述记录根节点中增加了新的叶子节点后，在服务器中缓存所述新的叶子节点中的日志内容。本发明将现有技术中全量服务器配置更新为增量的配置数据更新，将配置同步的带宽消耗从O(n²)降低到O(n)。

技术领域

本发明涉及互联网数据处理技术领域，尤其涉及一种基于增量日志的日志管理方法及管理装置。

背景技术

云计算领域的兴起带来了服务器管理的挑战，一整套IT服务设施往往包含上千到上万台服务器，传统的服务器管理方案和管理软件已经不能满足大规模服务器集群的管理需求，面向整个服务器集群的标准化的管理方案和管理软件的需求越来越迫切。

目前在开源社区出现了不少成熟的服务器集群管理软件，如ansible,saltstack,puppet等。这些软件侧重于将集群中服务器的配置下发并执行到每个服务器上，以及静态的服务器配置管理。

而另一方面，在服务器集群运行过程中，也需要动态更改一个或多个服务器的配置以适应互联网应用中的快速业务变化。

在服务器的动态配置更改方面，目前也有很多软件系统支持配置存储: 集中式存储可以使用MySQL，Redis等。分布式存储集群可以使用etcd, ZooKeeper等。

这些集中式或分布式的配置存储软件，在不同的场合很好的解决了配置的存储问题，但现有技术中基于etcd的CoreOS的动态配置管理方案,只能让作为客户端的Docker实例监视属于自己的配置信息node,无法得知整个集群内其他Docker实例的配置信息变化,因此这种机制只能用于实现无状态的 Docker实例之间的配置管理,不能用于Docker实例之间有逻辑上的依赖的场合。对于将整个集群内所有服务器的配置都保存到1个etcd的节点的机制, 也同样不适用。这样虽然可以通过让每个客户端通过监测这个节点来接受整个集群内所有服务器的配置变化,但任何一个服务器的配置变化都会造成所有服务器通过配置中心etcd来拉取配置信息。这样会导致O(n²)级别的数据传输。如果1个服务器的配置信息是256字节,1个1000台服务器的集群,每次任何一个服务器的配置信息发生变化,都会在短时间内产生256兆比特的数据传输。

现有的执行方法，在整个分布式系统中，一服务器的配置信息更新时，与其相关联的其它服务器在本地需对此服务器所有的配置信息进行记录，服务器间同步配置信息时占用的带宽较高。

发明内容

为了解决上述技术问题，本发明提供了一种基于增量日志的日志管理方法及管理装置。

本发明提供了一种基于增量日志的日志管理方法，包括：

在配置存储中心建立用于存储日志的记录根节点；

获知服务器的配置信息更新后，在所述记录根节点下建立至少一个叶子节点，在所述叶子节点下记录相应的日志，所述日志包括日志标识和日志内容，所述日志内容包括服务器标识和更新后的配置信息；

通过协调线程监测到所述记录根节点中增加了新的叶子节点后，在所述协调线程中存储所述新的叶子节点中的日志内容；

各服务器监测到所述记录根节点中增加了新的叶子节点后，在服务器中缓存所述新的叶子节点中的日志内容。

上述基于增量日志的日志管理方法还包括以下特点：

所述方法还包括：