[发明专利]一种基于日志采集的分析预警方法

说明书

技术领域

本发明属于计算机操作系统技术领域，具体涉及一种基于日志采集的分析预警方法。

背景技术

随着企业IT业务系统的迅速发展，网络规模迅速扩大，主机、网络设备、应用软件数量不断增多，业务资源访问、操作量不断增加，并提供大量线上业务，由于内控措施不力造成的安全问题时有发生。依赖各通信网、业务网和各支撑系统中设备自身的日志功能进行监控的做法已经无法满足企业目前和未来业务发展的要求。日志监控预警平台依托于大数据平台，可以实现对企业各个集群及业务的日志进行统一管理和监控，并且通过日志采集，日志清洗，日志搜索，日志统计，日志预警等机制，不仅可以监控线上服务，并且能通过日志进行数据分析与数据报表，更全面的掌握产品的整体情况，同时可以利用关键字实时查询日志信息，从而可以使业务人员快速定位日志，提高发现问题与处理问题的能力。

日志(log)这个术语实际上指的是用于展示某些事件全貌的日志消息的集合，一条日志消息里面含有很多有用的数据，如web服务器记录用户访问web页面请求资源的日志。现有技术中采用ELK作为开源的日志收集分析架构，可以完成简单的日志分析功能，但是其并不具备实时性，因此应用系统定位问题延迟，引发一系列的连锁问题；无法满足一个应用系统不同的功能模块的同时监测，无法实现定制化的开发。

发明内容

本发明所要解决的技术问题是：提出一种基于日志采集的分析预警方法，解决传统技术中不能实时分析预警的问题，同时实现定制化预警方案。

本发明采用的技术方案如下：

一种基于日志采集的分析预警方法，包括以下步骤：

a.分析目标系统的运行过程并进行日志输出；

b.自定义flume source，实现对日志目录和文件的实时采集；自定义flume sink，将采集的event事件发送到kafka；

c.采用Storm作为实时分析组件，分析kafka中的日志信息,将kafka作为storm的spout数据源读取数据，根据业务需求提取日志中的有效信息，然后将结构化和非结构化的日志分别存储到不同的mongo数据库；

d.在前端新建日志预警规则，建立预警任务并设置任务要求；

e.提交预警任务请求，经过管理员审核通过后将该任务具体配置信息存储到数据库中；

f.对各预警任务进行实时监控。

作为进一步优化，步骤f具体包括：

f1.预警任务控制器读取预警任务的存储位置，获取该任务的相关信息；

f2.预警控制器确认该任务已上线后，调用查询接口对mongo数据库的数据按照索引进行查询；

f3.预警控制器按照预警规则对获取的查询数据进行匹配，如果有匹配结果，并且该结果数目达到了发送邮件的次数，则发送邮件，保存发送邮件的时间；

f4.当发送邮件后，程序根据设定的监控频率再次运行，若再次到达发送邮件的要求，则检查上次发送邮件的时间，若两次时间间隔未达到发送邮件间隔，则不发送；若已超过时间间隔，则再次发送；

f5.重复f1～f4步骤，实现预警的实时性。

作为进一步优化，步骤f1中，所述任务的相关信息包括：上下线状态、规则、监控频率、邮件发送人信息。

作为进一步优化，步骤c中，Kafka作为消息中间件用以解决采集数据速度和处理速度不同步的情况。

作为进一步优化，步骤d中，所述任务要求包括预警监控频率、对应的预警任务负责人。

本发明的有益效果是：采用日志采集软件获取整个系统的运行日志，通过实时大数据分析技术将日志进行分析，准确的获得日志中的信息；采用分布式集群查询实时处理后的日志内容，同时对已经上线的预警任务进行实时监控，当查询的结果符合预警任务的预警规则时，获取该任务的具体负责人并发送邮件，完成整个系统的精准分布式准实时查询预警任务；本发明能够在日志收集阶段和日志预警阶段自由高效的完成复杂的预警任务，完全适合于系统开发和维护过程，提高开发过程中修复异常的效率，减少维护人员的工作量，降低开发过程中资源的浪费。

附图说明

图1为本发明中的flume+kafka日志收集框架；

图2为本发明中的storm日志分析处理框架；

图3为本发明中的日志预警框架；

图4为日志预警流程图。

具体实施方式

本发明旨在提出一种基于日志采集的分析预警方法，解决传统技术中不能实时分析预警的问题，同时实现定制化预警方案。