[发明专利]一种自动化更新配置fluentd的配置文件的方法

说明书

本发明提供一种自动化更新配置fluentd的配置文件的方法，属于云计算领域，本发明基于kubernetes环境监听crd创建、删除事件，开启或关闭自动增删fluentd基本配置参数，从而动态的对这些应用日志进行收集，实现动态存储，实现自动更新fluentd配置文件。最终实现日志平台的灵活管理。

技术领域

本发明涉及云计算领域，尤其涉及一种自动化更新配置fluentd的配置文件的方法。

背景技术

随着kubernetes越来越活跃，加入kubernetes的云原生应用越来越多，对集群的监控，日志的收集不断提出各种挑战，过去，日志收集整体环境比较直接，有限的静态物理服务器和虚拟机，以及有限数量的监控指标。但是随着容器技术，及微服务架构的广泛应用，要收集的日志的资源实体数量激增，且不确定性越来越强。对系统的灵活性和可伸缩性提出了更高的要求，尤其伴随kubernetes这样的协调器一起使用时，资源的变化更加多样，跟踪起来越发困难，环境的复杂性和分布的增加，也使得部署监控更加困难，短暂的环境此问题尤其突出。

日志管理平台有这样的需求：平台支持基于某些应用的开启或关闭自动增删fluentd基本配置参数，从而动态的对这些应用日志进行收集，实现动态存储。最终实现日志平台的灵活管理。

发明内容

为了解决以上技术问题，本发明提供了一种kubernetes环境监听crd(本文中的crd叫做FluentdConfig CRD)创建、删除事件，实现自动更新fluentd配置文件的一种方法，解决复杂多变环境下频繁变动fluentd的配置文件的问题，支持自动的增加或删除相应配置，从而大大降低了人工操作带来的风险，并且大大减少了工作量。

本发明的技术方案是：

一种自动化更新配置fluentd的配置文件的方法，包括如下步骤：

(1)建立FluentdConfig CR，并将需要增加或更改的配置写在FluentdConfig CR中；

(2)Controller监听创建FluentdConfig CR事件，并处理该事件，将其中的配置提取并加工；

(3)Controller与k8s apiserver交互获取fluentd的configmap，并将配置更新到该资源中；

(4)删除已存在的FluentdConfig CR；

(5)Controller监听删除FluentdConfig CR事件，并提取事件中的配置信息，将该配置从fluentd的配置中删除。

进一步的，

开始，租户侧创建k8s集群，部署chart(fluentd、fluentd-crd、启动fluentd-config-controller)，然后controller会列出当前环境中所有的FluentdConfig CR，然后读取它们的配置后对fluentd的配置进行全量更新；

用户发起请求，开启服务，该命令触发FluentdConfig CR的创建；新建的FluentdConfig CR会产生一个事件传给controller，Controller监听到FluentdConfig CR的创建，提取并处理FluentdConfig CR中的配置，并将结果更新到fluentd的配置文件；

controller处理后对fluentd的配置文件进行增量更新，Fluentd reload配置文件后开始收集配置中的日志；