[发明专利]一种基于关联分析的异常处理方法、系统、终端及介质

说明书

本发明公开了一种基于关联分析的异常处理方法，包括：获取相关联的待分析数据，待分析数据包括日志数据、机器监控数据、中间件及DB监控数据、交易指标数据和交易明细数据；对待分析数据进行数据治理得到治理后的数据；对治理后的数据进行数据分析得到异常数据，从异常数据中发现故障；对异常数据进行故障收敛；根据异常数据进行事件故障分析，对日志异常、机器异常和维度异常进行定位。通过对日志数据、机器监控数据、中间件及DB监控数据、交易指标和交易明细进行异常数据分析、从异常数据中发现故障，得到日志异常定位、机器异常定位和维度异常定位，为运维调度平台提供数据基础。

技术领域

本发明涉及数据处理技术领域，具体涉及一种基于关联分析的异常处理方法、系统、终端及介质。

背景技术

运维监控通过各种技术工具，如Tivoli、Zabbix、APM、网络抓包、应用埋点监控等会采集各种监控指标，这些指标通常被存储为时序数据(包含采集时间和指标值)。目前还没有一种能对多种关联监控指标数据进行自动检测、自动分析和发现故障的方法。

发明内容

针对现有技术中的缺陷，本发明的目的在于提供一种基于关联分析的异常处理方法、系统、终端及介质，能对关联监控指标数据进行自动检测、自动分析，及时发现故障。

第一方面，本发明实施例提供的一种基于关联分析的异常处理方法，包括：

获取相关联的待分析数据，所述待分析数据包括日志数据、机器监控数据、中间件及DB监控数据、交易指标数据和交易明细数据；

对所述待分析数据进行数据治理得到治理后的数据，所述治理后的数据包括日志指标KPI、基础监控KPI、业务KPI和交易指标KPI；

对所述治理后的数据进行数据分析得到异常数据，从异常数据中发现故障；

对异常数据进行故障收敛；

根据异常数据进行事件故障分析，对日志异常、机器异常和维度异常进行定位。

可选地，所述对治理后的数据进行数据分析得到异常数据的具体方法包括：

对所述日志指标KPI、基础监控KPI、业务KPI和交易指标KPI分别进行趋势预测；

根据趋势预测分别得到日志指标的趋势性变化信息、基础监控KPI的趋势性变化信息、业务KPI的趋势性变化信息和交易指标KPI的趋势性变化信息；

从所述日志指标的趋势性变化信息、基础监控KPI的趋势性变化信息、业务KPI的趋势性变化信息和交易指标KPI的趋势性变化信息中检测日志指标异常数据、基础监控KPI异常数据、业务KPI异常数据和交易指标KPI异常数据。

可选地，对待分析数据进行治理得到治理后的数据中对日志数据进行治理的方法包括：从日志数据中获取日志模板，对日志模板进行自动解析，得到日志指标KPI。

可选地，所述日志数据包括系统日志和应用日志。

可选地，所述交易指标数据包括交易量、响应时间、成功率和响应率；所述交易明细包括交易延迟、交易类型、返回码和渠道。

第二方面，本发明实施例提供的一种基于关联分析的异常处理系统，包括待分析数据获取模块、数据治理模块、异常分析模块、故障收敛模块和故障分析模块，

所述待分析数据获取模块被配置为获取获取相关联的待分析数据，所述待分析数据包括日志数据、机器监控数据、中间件及DB监控数据、交易指标数据和交易明细数据；

所述数据治理模块被配置为对所述待分析数据进行治理得到治理后的数据，所述治理后的数据包括日志指标KPI、基础监控KPI、业务KPI和交易指标KPI；