[发明专利]一种容器云日志收集资源控制方法及系统

说明书

本发明属于云计算领域，提供了一种容器云日志收集资源控制方法及系统。其中，该方法包括配置日志容器的扫描频率、日志优先级及流量控制阈值；根据配置的日志优先级来初始化日志容器的限定资源，由日志容器引擎来控制日志容器运行时的资源上限；基于配置的扫描频率来扫描日志容器内的日志文件；监控日志容器网络出口瞬时流量，并与流量控制阈值实时比较来调整日志容器的发送因子，根据发送因子来调控发送的每包字节数和发送速度。

技术领域

本发明属于云计算领域，尤其涉及一种容器云日志收集资源控制方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

随着云计算的普及，为了快速解决应用中出现各种问题，日志分析成为了必不可少的主要手段，日志收集、存储和检索则成为了关键技术。传统日志处理的方式是日志写到本机磁盘上，通常仅用于排查线上问题，很少用于数据分析，需要时登录到机器上用命令行查看。容器及部署在其中的应用日志，尤其是使用过容器编排系统的容器，日志在哪台机器的哪个容器，一个应用多个容器实例时业务发生在哪个容器应用上，都不能确定，这无疑加大了日志分析的困难。

为此业界基于容器云的事实标准开源项目Kubernetes(以下简称K8S)，研发出相关的解决方案和技术。目前容器日志有两种输出形式，stdout和stderr标准输出和日志文件记录。Kubernetes不做容器日志收集工作，但提供了三种相关方案：第一种是守护程序(DaemonSet)方式，第二种是边车(Sidecar)方式，第三种是一种混合模式采用第二种方式，将应用日志拷贝到节点目录下，然后再由第一种方式收集，这会出现节点存储两份日志的情况。

在第二种边车(Sidecar)方式中：一个Pod中运行一个sidecar容器，用于采集该POD主容器产生的日志，sidecar优先于主容器启动，适用于应用日志的收集，不侵入应用所在容器，但侵入应用所在Pod。第三种原生方式：使用kubectl logs直接在查看本地保留的日志，或者通过容器引擎的log driver把日志重定向到文件、syslog、fluentd等系统中，需要直接侵入应用容器。其中，Pod是一个或一个以上的容器(例如Docker容器)组成的，且具有共享存储/网络/UTS/PID的能力，以及运行容器的规范。并且在Kubernetes中，Pod是最小的可被调度的原子单位。

发明人发现，虽然第二种Sidecar模式是业界标准方案，但如果多个sidecar容器满负荷并发工作，就会出现资源消耗过大的问题，严重占用节点资源，影响主容器业务，甚至导致容器崩溃的严重后果。

发明内容

为了解决上述背景技术中存在的容器云边车模式下，应用日志的收集资源消耗大的技术问题，本发明提供一种容器云日志收集资源控制方法及系统，其能够充分降低日志功能对机器资源的消耗，并兼顾日志收集的时效性。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种容器云日志收集资源控制方法，其包括：

配置日志容器的扫描频率、日志优先级及流量控制阈值；

根据配置的日志优先级来初始化日志容器的限定资源，由日志容器引擎来控制日志容器运行时的资源上限；

基于配置的扫描频率来扫描日志容器内的日志文件；

监控日志容器网络出口瞬时流量，并与流量控制阈值实时比较来调整日志容器的发送因子，根据发送因子来调控发送的每包字节数和发送速度。

进一步地，日志容器的扫描频率、日志优先级及流量控制阈值这三个配置项存放在etcd服务中。

进一步地，日志容器的扫描频率配置项的配置单位秒。

进一步地，当日志容器的扫描频率配置项配置0s为准实时，不做频率控制。