[发明专利]一种通用的分布式日志上下文检索系统及方法

权利要求书

1.一种通用的分布式日志上下文检索系统，其特征在于，包括kk-log-agnet模块、kk-log-server模块、kk-log-explorer模块、nio server模块；

所述kk-log-agnet模块用于读取日志文件，并将读取的日志发送至kk-log-server模块；

所述kk-log-server模块用于接收日志，并索引日志，以供前端用户搜索日志、浏览日志、权限验证；

所述kk-log-explorer模块为kk-log-agnet模块的内置模块，kk-log-explorer模块给kk-log-server模块提供http api用于加载日志详情；

所述nio server模块为kk-log-server模块的内置模块，nio server模块用于接收kk-log-agent推送的日志内容，并进行索引。

2.根据权利要求1所述的通用的分布式日志上下文检索系统，其特征在于，所述kk-log-agnet模块还用于监控日志文件的rename和create事件，在每日0点发生日志切割时，能够继续读取到新的日志数据。

3.一种通用的分布式日志上下文检索方法，其特征在于，包括如下步骤：

S1、启动kk-log-agnet，kk-log-agnet与kk-log-server建立tcp连接，kk-log-agnet发送基础信息至kk-log-server，等待kk-log-server进行基础信息检查，返回ok后，kk-log-agnet与kk-log-server双方应用层握手完成；

S2、kk-log-agnet读取日志文件，并记录读取到的行记录的文件指针位置和读取到行记录的长度，将以上数据推送到kk-log-server，进入下一次读取循环，以此往复；

S3、kk-log-server内部的nio server，接收kk-log-agent应用层握手和日志相关数据，判断日志内容中是否存在reqId参数；

S4、步骤S3中，将日志内容、文件指针、创建时间、提交到apache lucene索引，若reqId存在时，reqId一并提交，并为reqId建立专门字段以便实现进行基于会话的日志上下文跟踪，若reqId不存在，则忽略处理reqId字段，将上述其他内容索引，其中，索引时，日志内容只做索引，不存储日志本身内容；

S5、kk-log-server提供日志检索接口，并提供日志检索ui：kk-log-server在收到日志关键字查询请求后，将关键字传入apche lucene，把索引返回的日志索引creatTime、pos、len参数传给对应的kk-log-agent内部kk-log-explorer获取到日志内容，并在浏览器展示检索结果，检索结果页面展示处每条日志记录；

S6、点击查看前后内容完成原始日志文件的上下文跟踪或点击查看会话上下文完成会话上下文跟踪。

4.根据权利要求3所述的通用的分布式日志上下文检索方法，其特征在于，基础信息包括系统名称、系统id、日志文件名称、自身kk-log-explorer端口号。

5.根据权利要求3所述的kk-log分布式系统日志收集和检索方法，其特征在于，kk-log-agent启动时，还会监控日志文件的rename和create事件，以便对更新的日志文件能实时的读取。

6.根据权利要求3所述的通用的分布式日志上下文检索方法，其特征在于，kk-log-agent启动时，随即启动内置的kk-log-explorer，暴露对外的explorer http api。