[发明专利]基于Logstash分布式系统的日志监控系统有效
申请号: | 201611244198.3 | 申请日: | 2016-12-29 |
公开(公告)号: | CN106855888B | 公开(公告)日: | 2020-12-22 |
发明(设计)人: | 王仄夷 | 申请(专利权)人: | 北京车智赢科技有限公司 |
主分类号: | G06F16/17 | 分类号: | G06F16/17;G06F16/182 |
代理公司: | 北京市盛峰律师事务所 11337 | 代理人: | 于国富 |
地址: | 100080 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 logstash 分布式 系统 日志 监控 | ||
1.一种基于Logstash分布式系统的日志监控系统,其特征在于,所述系统包括:三个独立的工作端:
日志收集端,每一个所述日志收集端均设置有唯一序列号;负责监控本地日志文件的变化,及时把日志文件的最新内容收集起来,输出到日志转发器暂存;
日志存储端,预先存储有查看并分析列表,所述查看并分析列表中存储有所述日志查看分析端的编码号;实时或设置每个一段时间间隔从所述日志转发器中读取日志文件,接收并存储从所述日志转发器发送的日志信息;
日志查看分析端,从日志存储端调取目标日志查看并分析;
其中一个所述日志转发器与多个所述日志收集端通信连接;一个所述日志存储端与多个所述日志查看分析端通信连接;任意一个或多个日志查看分析端仅查看并分析由预先指定一个或多个日志收集端收集到的日志文件;
所述日志监控系统中工作端的选择规则如下:所述日志存储端将收集到的日志信息中的序列号,与查看并分析列表中存储的所述日志查看分析端的编码号进行对比;当所述查看并分析列表中存在与所述序列号相对应的所述编码号时,所述日志信息发送至所述编码号对应的所述日志查看分析端;当所述查看并分析列表并不存在与所述序列号相对应的所述编码号时,所述日志信息发送到随机选定的所述日志查看分析端中。
2.根据权利要求1所述基于Logstash分布式系统的日志监控系统,其特征在于,所述日志收集端需配置的参数包括:需要监控的文件、监控日志输出的控制台、监控日志输出的日志转发器的端口号、监控日志输出的日志转发器的主机地址、监控日志输出的日志转发器的数据库编号、监控日志使用的发布/订阅模式和监控日志发布的通道名称。
3.根据权利要求2所述基于Logstash分布式系统的日志监控系统,其特征在于,所述日志收集端还包括监控日志输出的日志转发器的备用主机地址。
4.根据权利要求1所述基于Logstash分布式系统的日志监控系统,其特征在于,所述日志收集端收集到日志文件数据后,经过文件处理后,暂存到日志转换器中。
5.根据权利要求1所述基于Logstash分布式系统的日志监控系统,其特征在于,所述日志存储端从日志转发器读取日志文本,将读取的文本修改为format文件后存储,同时,所述日志存储端设置了需存储的日志写入文件路径。
6.根据权利要求1所述基于Logstash分布式系统的日志监控系统,其特征在于,本系统运行的环境为JAVA。
7.一种基于如权利要求1至6任意一项所述基于Logstash分布式系统的日志监控系统的日志监控方法,其特征在于,所述方法:
S1,日志收集端实时判断监的日志文件是否更新,如果是,则调取更新的日志文件并暂存到日志转发器中;如果否,则返回S1,继续判断;
S2,当日志存储端收到日志转发器暂存更新日志文件的消息后,接收并存储从日志转发器发送的日志信息;所述日志信息包括:日志文件的输出地址、日志文件内容和收集日志文件的日志收集端;
S3,日志查看分析端在接收到日志存储端存储了更新日志文件的消息后,从日志存储端调取目标日志查看并分析;所述日志查看分析端为处于空闲状态的日志查看分析端或查看分析任务最少的日志查看分析端;
所述日志监控系统的工作步骤为:判断所述日志存储端收集到的任意一条日志信息中存储的所述日志收集端的唯一序列号,将所述唯一序列号与预先存储的制定查看并分析列表进行比对,如果所述唯一序列号在所述查看并分析列表中某个或某些所述日志查看分析端的编码号对应,则将该日志信息发送到与编码号对应的所述日志查看分析端中;如果在所述查看并分析列表并不存在所述唯一序列号,则将该日志信息发送到随机选定的所述日志查看分析端中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京车智赢科技有限公司,未经北京车智赢科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201611244198.3/1.html,转载请声明来源钻瓜专利网。