[发明专利]一种基于nginx日志的服务状态统计方法及系统

说明书

本发明公开了一种基于nginx日志的服务状态统计方法及系统，通过采集想要代理中间件(负载均衡)日志，将用户访问服务器的各种http状态数据采集并存储到ElasticSearch数据库中，可进一步通过程序分析计算出各种访问状态；并根据各个访问状态来判断应用服务的正常与否；还可以通过日志分析其中哪些状态是异常的，根据异常状态的日志，分析出是什么原因导致的异常，并根据得到的数据再判断是否需要对服务进行调整优化、是否更加稳定运行；对服务的文档高可用提供根本性的依据。本发明在简化访问数量难度、复杂性和繁琐度上面提供了一套对用户友好的解决方案；也为统计请求数量、统计服务健康状况等的准确度提供另外一个思路。

技术领域

本发明涉及计算机技术领域，特别涉及一种基于nginx日志的服务状态统计方法及系统。

背景技术

任何线上的服务只要存在大量用户访问的情况，就必须有负载均衡的中间件，而我们提供的服务则必须要保证用户使用时系统的稳定，同时还需要为运营运维人员提供相关数据，运维人员在查看当前服务是否正常时，一般是通过一系列监控手段来实现，具体包括判断服务域名下请求的服务返回状态是否正确、是否有异常返回等，一般通过简单的统计就可以反映相关的服务状态。

本发明的技术方案就在这样的技术背景下诞生，其在简化访问数量难度、复杂性和繁琐度上面提供了一套对用户友好的解决方案；也为统计请求数量、统计服务健康状况等的准确度提供另外一个思路。

发明内容

本发明的目的是基于上述背景技术，提供一种基于nginx日志的服务状态统计方法及系统，可在简化访问数量难度、复杂性和繁琐度上面提供了一套对用户友好的解决方案；也为统计请求数量、统计服务健康状况等的准确度提供另外一个思路。

为了达到上述的技术效果，本发明采取以下技术方案：

一种基于nginx日志的服务状态统计方法，具体包含以下步骤：

日志格式配置步骤：配置nginx服务产生的日志的格式并启动nginx服务代理，从而使得nginx生成配置的json格式的日志；

日志信息采集步骤：通过日志采集服务器filebeat采集nginx服务产生的日志文件，并将采集到的日志文件保留并转发到日志文档内容存储服务器ElasticSearch中；

日志索引创建及日志保存步骤：在日志文档内容存储服务器ElasticSearch创建基于filebeat模板的索引，并将filebeat传过来的日志内容存放到对应的索引中；

日志展示步骤：通过查询展示程序服务器Grafana，将ElasticSearch作为数据库链接对象，在对应的索引中查询存储的日志内容并通过展示模板及展示报表展示；

在本发明的基于nginx日志的服务状态统计方法中，主要用filebeat来采集nginx的access_log并自动化和实时传输给ElasticSearch；ElasticSearch对filebeat传过来的日志进行储存，filebeat可具体按照每天来创建对应的索引；ElasticSearch还可提供查询接口，让用户能根据查看需要对应的nginx日志内容；最后再利用Grafana的中间件配置ElasticSearch数据源，满足用户统计服务各状态需求；

即本发明的方法通过采集想要代理中间件(负载均衡)日志，将用户访问服务器的各种http状态数据采集并存储到ElasticSearch数据库中，通过程序分析计算出各种访问状态；再由运维人员根据各个访问状态来判断应用服务的正常与否；还可以通过日志分析其中哪些状态是异常的，根据异常状态的日志，分析出是什么原因导致的异常，并根据我们得到的数据再判断是否需要对服务进行调整优化、是否更加稳定运行；对服务的文档高可用提供了根本性的依据。

进一步地，在所述日志信息采集步骤中还包含日志数据清洗步骤，即：