[发明专利]一种基于日志差异化比对的故障定位方法与系统

说明书

本发明公开一种基于日志差异化比对的故障定位方法和系统，其中所述方法包括：记录故障发生当前时间；以所述故障发生当前时间为基准，设定第一故障发生时间区间，以及与所述第一故障发生时间区间相关第一正常时间区间；分别获取所述第一故障发生时间区间的日志和所述第一正常时间区间日志；对所述第一故障发生时间区间的日志和所述第一正常时间区间日志分别进行结构化日志数据对比和非结构化日志数据对比；输出对比结果。本发明提供有触发式的日志异常检测算法，通过多维度的日志对比，自动准确地找出故障期间表现异常、和故障相关的日志，显著减少运维人员手工筛查海量日志的时间，快速地找到和故障相关的线索，提升故障诊断和根因定位效率。

技术领域

本发明属于大数据分析与数据挖掘领域，尤其涉及一种基于日志差异化比对的故障定位方法与系统。

背景技术

由于大规模在线服务的复杂性，故障总是不可避免的会发生。服务故障会导致系统无法稳定运行，严重影响用户体验并带来经济损失。因此，及时、准确的故障诊断，定位到故障的根因，从而解决问题、止损故障、恢复系统正常运行是至关重要的。

日志数据是软件系统中的一类重要数据源，详细记录了系统的运行状态和用户行为。当故障发生时，工程师通常会检查故障发生前的相关日志数据，从日志中找到相关故障线索，从而定位到根因。但是由于软件服务的规模较大，系统日志的规模也很庞大，通常每分钟有成千上万条日志产生。想从海量的日志数据中找到故障线索，之前的方式通常为：

（1）手工检查。在排障过程中，工程师通常采用手工检查的方法，比如通过grep 搜索日志中的一些关键字（如warning, error），但是这种手工方法在实际中效果也不够理想，主要有以下几点原因：1）异常关键字难以枚举；2）由于软件服务存在复杂的拓扑依赖关系，通常满足关键字的日志有很多，因此通过grep筛查之后的异常日志数量仍然很多，肉眼排查工作量很大。

（2）日志异常检测。学术界目前已有较多日志异常检测的工作，旨在实时检测在线日志的异常。但是，流式的异常检测开销很大，面临实际中的海量日志，流式异常检测会消耗大量的系统资源，伴随着经常发生的误报和漏报，所以在实际中效果并不好。

发明内容

本发明要解决的技术问题是面向日志数据的故障诊断与根因定位，旨在系统发生故障时，准确、自动地从海量的日志数据中发现可疑日志表现，为故障诊断和根因定位提供全面的线索。

因此，本发明提供一种基于日志差异化比对的故障定位方法，包括以下步骤：

在系统发生故障时，记录故障发生当前时间；

以所述故障发生当前时间为基准，设定第一故障发生时间区间，以及与所述第一故障发生时间区间相关第一正常时间区间；

分别获取所述第一故障发生时间区间的日志和所述第一正常时间区间日志；

对所述第一故障发生时间区间的日志和所述第一正常时间区间日志分别进行结构化日志数据对比和非结构化日志数据对比；

输出对比结果。

其中，所述以所述故障发生当前时间为基准，设定第一故障发生时间区间，以及与所述第一故障发生时间区间相关第一正常时间区间，包括：

假设故障发生当前时间为t，则所述第一故障发生时间区间为sa=[t-w:t]，所述第一正常时间区间为sn=[t-w-p,t-p]，其中p＞w。

其中，p为24小时，w为1小时。

其中，在所述对所述第一故障发生时间区间的日志和所述第一正常时间区间日志分别进行结构化日志数据对比和非结构化日志数据对比之前，包括：

离线模板学习；

基于学习的模板，将非结构化的日志转换为结构化的模板和变量。