[发明专利]一种基于容器云系统的日志处理方法、装置及其系统

说明书

技术领域

本发明涉及容器日志技术领域，特别是涉及一种基于容器云系统的日志处理方法、装置及其系统。

背景技术

近年来，随着互联网的快速发展，以docker(一个开源的应用容器引擎)为主的容器技术受到了越来越多大型公司的使用，容器内封装有相应的业务及应用，不同容器之间相互独立。

目前，Docker容器技术的日志处理机制多采用ELK(elasticsearch、logstash、kibana)来对容器云系统(即面向容器的云操作系统，这里简称容器云系统)中的容器的日志进行收集、搜索及展示。其中，容器云系统包括主节点以及多个子节点，每个子节点内包括若干个容器；Elasticsearch是一个基于Lucene的搜索服务器，Logstash是一款轻量级的日志搜索处理框架，Kibana是一个基于浏览器页面的Elasticsearch前端展示工具。

但是，采用ELK技术对容器云系统进行日志处理时，在采集每个子节点内的容器日志的过程中，会将采集到的日志先进行过滤处理，之后才会发送至主节点，即需要在每个子节点均进行采集和过滤等处理，运行占用子节点的CPU和内存高，消耗子节点的资源较大。

因此，如何提供一种能够减少对子节点的资源占用率的基于容器云系统的日志处理方法、装置及其系统是本领域技术人员目前需要解决的问题。

发明内容

本发明的目的是提供一种基于容器云系统的日志处理方法、装置及其系统，不需要在各个子节点内进行日志过滤等操作，对各个子节点的资源占用率低。

为解决上述技术问题，本发明提供了一种基于容器云系统的日志处理方法，用于容器云系统的主节点，包括：

发送收集请求至相应的子节点，供接收到所述收集请求的子节点收集自身包含的各个容器的日志并发送至所述主节点；

对接收到的日志进行数据过滤处理；

对过滤后的日志进行存储并发送至显示界面进行显示。

优选地，将所述过滤后的日志发送至显示界面进行显示的过程具体为：

对所述过滤后的日志进行日志挖掘操作，得到挖掘结果；

将所述挖掘结果发送至所述显示界面进行显示。

优选地，所述对所述过滤后的日志进行日志挖掘操作，得到挖掘结果的过程具体包括：

按照预设的挖掘标准对所述过滤后的日志进行数据预处理，得到结构化日志数据；

对所述结构化日志数据按照预设算法进行分析处理，得到所述挖掘结果。

为解决上述技术问题，本发明还提供了一种基于容器云系统的日志处理装置，用于容器云系统的主节点，包括：

收集层，用于发送收集请求至相应的子节点，供接收到所述收集请求的子节点收集自身包含的各个容器的日志并发送至所述主节点；

过滤层，用于对接收到的日志进行数据过滤处理；

存储层，用于对过滤后的日志进行存储；

显示层，用于将所述过滤后的日志发送至显示界面进行显示。

优选地，所述显示层具体包括：

数据挖掘单元，用于对所述过滤后的日志进行日志挖掘操作，得到挖掘结果；

数据显示单元，用于将所述挖掘结果发送至所述显示界面进行显示。

优选地，所述数据挖掘单元具体用于：

按照预设的挖掘标准对所述过滤后的日志进行数据预处理，得到结构化日志数据；对所述结构化日志数据按照预设算法进行分析处理，得到所述挖掘结果。

为解决上述技术问题，本发明还提供了一种基于容器云系统的日志处理系统，包括如以上任一项所述的日志处理装置，以及分别位于所述容器云系统的各个子节点内的若干个前置采集层；

所述前置采集层，用于接收到主节点发送的收集请求后，收集自身所在的子节点包含的各个容器的日志并发送至所述主节点。

优选地，所述前置采集层还包括：

缓存单元，用于缓存自身所在的子节点内的前置采集层收集的日志。

本发明提供了一种基于容器云系统的日志处理方法、装置及其系统，采集各个子节点的容器的日志后，先将这些日志发送至主节点，然后再在主节点内对这些日志进行后续的过滤处理。即本发明不需要在各个子节点内进行日志过滤等操作，减少了对各个子节点的CPU和内存等资源的占用，降低了对各个子节点的资源占用率。

附图说明