[发明专利]一种无需日志解析的全日志特征异常检测方法及系统

说明书

本发明公开了一种无需日志解析的全日志特征异常检测方法及系统，该方法包括：对日志进行分组，得到日志序列；对日志序列进行分词转化，并构造模型输入；对神经网络模型进行训练，得到训练后的神经网络模型；获取待测日志并转为模型输入输送到训练后的神经网络模型中，得到特征信息；将特征信息输入至分类器，得到日志异常检测结果。该系统包括：日志分组模块、输入构造模块、学习训练模块、特征提取模块和异常检测模块。通过使用本发明，能够无需进行日志解析和预处理操作，充分利用日志全部信息中的所有特征，实现最全面的检测日志异常。本发明作为一种无需日志解析的全日志特征异常检测方法及系统，可广泛应用于日志审计领域。

技术领域

本发明涉及日志审计领域，尤其涉及一种无需日志解析的全日志特征异常检测方法及系统。

背景技术

随着云计算和物联网的出现，现代大规模服务变得越来越复杂和灵活，其中大多数持续运行生成大量日志数据。这些服务的任何停机或异常都可能导致重大损失。而准确及时的异常检测可以快速减少损失。因此，异常检测对于构建可靠的服务至关重要。作为异常检测最有价值的数据源之一，日志已被广泛应用于各种服务和系统，以记录运行时状态和关键事件。因此，通过基于日志的异常检测对于服务维护和可靠性保证至关重要。

现存日志异常检测方法都采用了日志解析作为自己的第一步工作，然而日志解析错误却往往降低了整体日志异常检测方法的准确率，原因如下：①日志解析方法得到的日志模板数量通常会远超正确模板数量，这使得依赖日志模板编号进行分类的无监督日志异常检测方法准确率大幅下降；②日志解析方法会将很多日志模板里的关键字识别为日志参数或将日志参数错误识别为日志模板的一部分，从而得到错误的日志模板，影响日志异常检测的准确性。

而且大多数现有的日志异常监测方法在训练时只利用日志模板信息或其他一种单一的信息，丢弃掉其他所有信息，包括时间戳、日志等级、组件、进程标识(PID)和日志参数信息。但有一些异常和被丢弃掉的信息密切相关，例如时间戳可以用于提取时间序列、PID常用于监测恶意行为、日志参数信息反应出执行路径等详细信息，若这些有助于异常检测的信息被丢弃，相应的日志异常检测方法将无法检测和这些信息有关的异常。

发明内容

为了解决上述技术问题，本发明的目标是提供一种无需日志解析的全日志特征异常检测方法及系统，能够充分保留日志的全部信息，并利用日志全部信息中的所有特征实现最全面的检测日志异常。

本发明所采用的第一技术方案是：一种无需日志解析的全日志特征异常检测方法，包括以下步骤：

对日志进行分组，得到日志序列；

对日志序列进行分词转化，并构造模型输入；

将模型输入输送到神经网络模型中训练，得到训练后的神经网络模型；

获取待测日志并转为模型输入输送到训练后的神经网络模型中，得到特征信息；

将特征信息输入至分类器，得到日志异常检测结果。

进一步，所述对日志进行分组，得到日志序列这一步骤，其具体包括：

对日志信息进行遍历，确定分组方式；

根据分组方式对日志进行窗口划分，得到窗口信息；

根据窗口信息对日志进行分组，得到日志序列。

通过该优选步骤，可以选择最适配日志的分组方式，且当窗口大小设为1时，可以实现逐条检测日志。

进一步，所述对日志序列进行分词转化，并构造模型输入这一步骤，其具体包括：

对每条日志序列中的每条日志进行分词切分，得到日志序列中每条日志的日志分词；

将与日志分词对应的ID编号作为输入ID；