[发明专利]一种通用的分布式日志上下文检索系统及方法

说明书

本发明公开了通用的分布式日志上下文检索系统及方法，系统包括kk‑log‑agnet模块、kk‑log‑server模块、kk‑log‑explorer模块、nio server模块；方法包括：kk‑log‑agnet读取和推送日志；kk‑log‑server接收并索引日志；nio server用于接收kk‑log‑agent推送的日志内容，并进行索引；kk‑log‑server提供日志检索接口，并提供日志检索ui；点击查看前后内容，完成原始日志文件的上下文跟踪，点击会话上下文按钮，完成会话上下文跟踪。本发明部署简单，节省存储空间，检索效率高，可分别实现基于会话的上下文跟踪和基于原始日志文件的上下文跟踪，安全性高。

技术领域

本发明涉及日志检索方法领域，尤其涉及的是通用的分布式日志上下文检索系统及方法。

背景技术

现有技术中，行业使用比较多的分布式系统日志收集方案使用ELK(Elasticsearch、Logstash、Kibana)，Logstash负责从分布式系统中的各个节点发送日志到Elasticsearch对日志进行索引，Kibana是用来展示和检索日志。

ELK使用Logstash在日志产生服务器收集日志发往Elasticsearch进行索引，Elasticsearch基于apache lucene将日志内容本身也存储与索引之中，以便Kibana根据用户输入参数进行日志检索。

这种方式存在以下几点缺陷：

1、缺少原始日志上下文和会话上下文信息，在web系统中如果日志失去上下文信息，排查问题、数据分析会变得不可能。

2、部署安装较为麻烦，各个系统之间依赖关系较多。

3、Logstash与Elasticsearch采用http协议，http并不是很适合大量实时数据发送。

4、发送到Elasticsearch的日志内容被持久化到磁盘，占用大量磁盘空间。

5、Kibana由于并非只针对日志检索，以至于日志检索功能操作复杂。

6、Kibana没有针对不同系统日志的权限控制功能。

因此，现有技术存在缺陷，需要改进。

发明内容

本发明所要解决的技术问题是：提供一种通用的分布式日志上下文检索系统，部署简单，没有复杂的依赖关系，节省存储空间和提高检索效率，可基于会话的上下文跟踪和基于原始日志文件的上下文跟踪，安全性高。

本发明的技术方案如下：通用的分布式日志上下文检索系统，包括kk-log-agnet模块、kk-log-server模块、kk-log-explorer模块、nio server模块；

所述kk-log-agnet模块用于读取日志文件，并将读取的日志发送至kk-log-server模块；

所述kk-log-server模块用于接收日志，并索引日志，以供前端用户搜索日志、浏览日志、权限验证；

所述kk-log-explorer模块为kk-log-agnet模块的内置模块，kk-log-explorer模块给kk-log-server模块提供http api用于加载日志详情；

所述nio server模块为kk-log-server模块的内置模块，nio server模块用于接收kk-log-agent推送的日志内容，并进行索引。

采用上述技术方案，所述的通用的分布式日志上下文检索系统中，所述kk-log-agnet模块还用于监控日志文件的rename和create事件，在每日0点发生日志切割时，能够继续读取到新的日志数据。