[发明专利]一种基于序列重建的异常事件自动检测方法和系统

说明书

本发明提出一种基于序列重建的异常事件自动检测方法和系统。所述方法包括：步骤S1、利用预定义的事件模板，从多源日志中确定离散事件序列，所述离散事件序列由同一用户的多个事件日志按照时间顺序拼接而成；步骤S2、对所述离散事件序列进行拆分处理来获取若干原始子序列，并通过对所述若干原始子序列进行特征嵌入，进一步获取无监督检测模型的输入子序列，所述无监督检测模型包括LSTM编码器、变分组件和LSTM解码器，用于基于所述输入子序列生成所述离散事件序列的重建子序列；步骤S3、基于所述原始子序列和所述离散事件序列的重建子序列，利用评判准则来判断所述多个事件的异常属性。

技术领域

本发明属于数据检测领域，尤其涉及一种基于序列重建的异常事件自动检测方法和系统。

背景技术

日志数据的激增导致许多领域对异常检测的需求不断增加，这是构建安全、可靠和值得信赖的计算机系统的一项基本任务。据调查显示，大型现代系统平均以每小时约50GB（约1.2亿行）的速度生成日志，一旦系统发生故障，从如此海量的日志中手动识别关键信息以进行异常检测变得非常困难，即使是使用grep这样的实用搜索工具也是如此。与此同时，许多任务在具体实施时大多以事件序列的形式进行展开，这就使得其行为痕迹更加离散与混乱，大大增加了异常检测的难度。因此，面对诸如海量离散日志难以快速分析、复杂异常行为难以准确定位以及系统误报难以有效避免等现实挑战，亟需提出一种准确、高效的自动化异常事件检测系统。

目前针对时序离散事件的异常检测方法主要分为三类：1）基于传统机器学习的方法，此类方法主要利用事件的量化或统计信息来检测异常，但存在事件间时序信息考虑不足，误报率较高的缺陷；2）基于工作流的方法，此类方法假设存在一个类似于有限状态机的工作流模型来表示事件跳转状态的正常顺序，但该类检测模型大多是确定性的且无法捕获序列中复杂的长期依赖性，因此只能提供有限的异常检测性能。3）基于深度学习的方法，此类方法能够利用强大的深度网络模型自动学习隐藏在日志数据中的正常序列模式，并通过比较测试样本是否偏离正常模式来检测异常，是未来日志分析与异常检测的主流发展方向。但如今现有的基于深度学习的异常检测方法大多通过预测未来单一事件的方式来实现异常检测，这种方法一方面无法充分利用已有事件序列的时序特征，另一方面在构建正常模型时容易陷入欠拟合或过拟合的误区，从而无法保证检测的准确性。

发明内容

本申请提出一种基于序列重建的异常事件自动检测方案。本发明要解决的技术问题是：在给定一组离散事件日志序列作为历史监测数据的前提下，如何构建一个自动化的异常事件检测系统，能够准确地鉴别后续事件是否异常。进一步分解为两个部分：1）如何充分利用离散事件序列中潜在的时序依赖关系来构建更加准确的序列模型；2）如何克服模型构建过程中存在的过拟合和欠拟合问题，以提升异常检测的精度。

本发明第一方面公开了一种基于序列重建的异常事件自动检测方法。所述方法包括：

步骤S1、利用预定义的事件模板，从多源日志中确定离散事件序列，所述离散事件序列由同一用户的多个事件日志按照时间顺序拼接而成；

步骤S2、对所述离散事件序列进行拆分处理来获取若干原始子序列，并通过对所述若干原始子序列进行特征嵌入，进一步获取无监督检测模型的输入子序列，所述无监督检测模型包括LSTM编码器、变分组件和LSTM解码器，用于基于所述输入子序列生成所述离散事件序列的重建子序列；

步骤S3、基于所述原始子序列和所述离散事件序列的重建子序列，利用评判准则来判断所述多个事件的异常属性。

根据本发明第一方面的方法，所述步骤S1具体包括：

利用从审计日志中提取出的所述预定义的事件模板，对所述多源日志进行解析，以获取若干事件日志；

基于用户ID对所述若干事件日志进行分类聚合，以确定同一用户的多个事件日志，并对所述同一用户的多个事件日志按照时间顺序进行拼接，来获取所述离散事件序列。