[发明专利]一种基于自动化实现集中式日志管理系统和方法

说明书

本申请涉及一种基于自动化实现集中式日志管理系统和方法，该系统包括：部署域，用于建立部署域、代理域和管理域之间的可信任连接，创建管理域中每个模块组的主机角色配置文件，以及分别添加管理域和代理域中其各个模块组的部署代码；代理域，用于采集代理模块组中所有主机的日志数据信息并将所有主机的日志数据信息发送至管理域；管理域，用于存储代理域采集的日志数据信息并至少提供WebUI图形化接口、日志数据信息查询、日志数据信息检索和日志数据信息展示。本申请提供的技术方案，只需要简单修改主机列表清单和部署参数就可以重复部署该系统，具有可复用性功能；解决了使用人员访问权限受限的问题，提高了解决问题的效率。

技术领域

本申请属于自动化部署和日志管理技术领域，具体涉及一种基于自动化实现集中式日志管理系统和方法。

背景技术

日志通常是我们在定位系统或应用程序出现错误时，通过查阅日志信息分析错误发生的原因来解决问题最直接有效的方法，但是随着大数据时代的迅猛发展，业务的快速扩张，各种服务和组件也随着增加或扩容，那么服务器的数量也随之增加，由原来的几台服务器快速增长到几十、几百甚至上千台的服务器，而日志往往会分布在不同的服务器上，如果要查阅某个应用系统的日志，这将会是工作量非常大的一件事情，并且因为有安全防护的需求，除了运维人员有权限登录生产环境服务器查阅相应的日志，开发人员是没有登录生产环境服务器查阅日志的权限，因此在问题排查上增加了难度，需要通过运维人员来协助处理排查问题，这样不仅给运维人员带来了更多的工作量而且处理问题的效率会降低很多。

相关技术中的Rsyslog日志管理系统，没有检索、统计和分析功能，功能上比较单一，也不具有WebUI图形化展示功能，需要配合第三方应用才可以实现所需要的功能，配置比较繁琐，容易出错，已经不能满足运维和开发人员的工作需求。

发明内容

为至少在一定程度上克服相关技术中存在的问题，本申请提供一种基于自动化实现集中式日志管理的系统和方法，已解决相关技术中的日志管理系统存在功能上比较单一，不具有WebUI展示功能，配置比较繁琐，容易出错等的问题。

根据本申请实施例的第一方面，提供一种基于自动化实现集中式日志管理系统，所述系统包括：部署域，以及分别与部署域连接的代理域和管理域；

所述部署域，用于分别建立与代理域和管理域之间的可信任连接，创建管理域中每个模块组的主机角色配置文件，以及分别添加管理域和代理域中其各个模块组的部署代码；

所述代理域，用于采集代理模块组中所有主机的日志数据信息并将所有主机的日志数据信息发送至管理域；

所述管理域包括：高可用集群模块组、数据库集群模块组、存储集群模块组和Graylog应用集群模块组，用于存储代理域采集的日志数据信息并至少提供WebUI图形化接口、日志数据信息查询、日志数据信息检索和日志数据信息展示。

优选的，所述部署域中设置有部署模块，所述部署模块上安装有自动化管理软件Ansible；

所述部署域通过自动化管理软件Ansible的剧本模块执行剧本任务，以实现对管理域和代理域的自动化部署。

优选的，管理域中每个模块组至少包括3个主机节点。

根据本申请实施例的第二方面，提供一种基于自动化实现集中式日志管理方法，所述方法包括：

部署域分别建立与代理域和管理域之间的可信任连接；

部署域创建管理域中每个模块组的主机角色配置文件；

部署域分别添加管理域和代理域中其各个模块组的部署代码；

代理域采集代理模块组中所有主机的日志数据信息并将所有主机的日志数据信息发送至管理域；