[发明专利]一种基于Kafka和Zabbix的日志分析监控系统

说明书

技术领域

本发明涉及一种网站监控系统，具体是一种基于Kafka和Zabbix的日志分析监控系统。

背景技术

对网站流量的监控，目前主要有如下几种方式：一是采用嵌入云平台的统计JS脚本的方式，采用这类方法的如百度、谷歌等，二是通过一些日志分析工具进行流量监控，采用这类的方法主要有GoAccess、LogStat等，三是自主开发的访问统计监控系统。上述几种方案都有自己明显的不足。嵌入云平台的统计JS方式，不仅需要对网站前端代码进行修改，增加前端的处理逻辑；而且有些接口类的访问无法直接嵌入JS，使得此方案在使用范围上具有一定的局限性。第二种采用日志分析工具进行流量监控，无法进行实时地数据统计和监控，也不便于对多台服务器访问日志进行监控与统计。而自主开发的访问统计监控系统，开发工作量比较大，实施成本比较高，时间进度上也有一定的限制。

发明内容

本发明的目的在于提供一种基于Kafka和Zabbix的日志分析监控系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于Kafka和Zabbix的日志分析监控系统，包括Kafka模块、Shell脚本模块和Zabbix模块，所述Kafka模块一端连接至WEB服务器，Kafka模块用于采集WEB服务器的访问日志；所述Kafka模块另一端连接至Shell脚本模块，Shell脚本模块连接至Zabbix模块，Shell脚本模块用于对网站访问流量进行分析与计算，将Shell脚本模块进行网站访问流量的分析与计算的结果汇总到Zabbix模块中；Zabbix模块包括图形展现界面模块，所述Zabbix模块用于对网站进行实时的PV和UV的监控和告警。

与现有技术相比，本发明的有益效果是：

本发明通过Kafka进行WEB访问日志的采集，通过Shell脚本进行网站访问流量的分析与计算，并将结果汇总到Zabbix中；利用Zabbix的图形展现界面进行监控可视化展示，实现了对网站实时PV和UV的监控和告警，降低了网站访问统计和监控的成本。

附图说明

图1为基于Kafka和Zabbix的日志分析监控系统的结构示意图。

具体实施方式

下面结合具体实施方式对本发明的技术方案作进一步详细地说明。

请参阅图1，一种基于Kafka和Zabbix的日志分析监控系统，包括Kafka模块、Shell脚本模块和Zabbix模块，所述Kafka模块一端连接至WEB服务器，Kafka模块用于采集WEB服务器的访问日志；所述Kafka模块另一端连接至Shell脚本模块，Shell脚本模块连接至Zabbix模块，Shell脚本模块用于对网站访问流量进行分析与计算，将Shell脚本模块进行网站访问流量的分析与计算的结果汇总到Zabbix模块中；Zabbix模块包括图形展现界面模块，所述Zabbix模块用于对网站进行实时的PV和UV的监控和告警。

本发明的工作原理是：

本系统通过Kafka模块进行WEB访问日志的采集，通过Shell脚本模块进行网站访问流量的分析与计算，并将结果汇总到Zabbix模块中；利用Zabbix模块中的图形展现界面模块进行监控可视化展示，并实现对网站实时PV和UV的监控和告警。

上面对本发明的较佳实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域的普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。