[发明专利]一种基于序列重建的异常事件自动检测方法和系统

权利要求书

1.一种基于序列重建的异常事件自动检测方法，其特征在于，所述方法包括：

步骤S1、利用预定义的事件模板，从多源日志中确定离散事件序列，所述离散事件序列由同一用户的多个事件日志按照时间顺序拼接而成；

步骤S2、对所述离散事件序列进行拆分处理来获取若干原始子序列，并通过对所述若干原始子序列进行特征嵌入，进一步获取无监督检测模型的输入子序列，所述无监督检测模型包括LSTM编码器、变分组件和LSTM解码器，用于基于所述输入子序列生成所述离散事件序列的重建子序列；

步骤S3、基于所述原始子序列和所述离散事件序列的重建子序列，利用评判准则来判断所述多个事件的异常属性；

其中，在所述步骤S3中：

对齐所述原始子序列和所述离散事件序列的重建子序列，所述原始子序列和所述离散事件序列的重建子序列均包含M个事件，所述M个事件中的每一个事件都对应一个事件位置，所述事件位置表征当前事件在其所述的事件序列中的位置，其中所述M个事件包含以下情况：

M个互不相同的独立事件；

N个互不相同的独立事件以及M-N个重复事件，所述重复事件为所述N个互不相同的独立事件中的若干事件的重复事件；

利用单层全连接分类器模型计算M个事件中的每一个事件分别在M个位置上的出现概率，利用异常评估组件基于所述出现概率，利用所述评判准则来判断M个事件的异常属性；具体包括：

获取所述原始子序列中M个事件的固定位置；

在所述离散事件序列的重建子序列中：

当第i个事件出现在与其对应的所述固定位置上的概率低于第二阈值时，判定所述第i个事件为异常事件；

当所述第i个事件出现在与其对应的所述固定位置上的概率不低于第二阈值时，获取除所述第i个事件之外的其他事件在所述第i个事件对应的所述固定位置上的概率，作为概率集合，判断所述第i个事件出现在与其对应的所述固定位置上的概率在所述概率集合中的排序位置：

当所述排序位置处在前K个时，判定所述第i个事件为正常事件；

否则，判定所述第i个事件为异常事件；

其中，M和N均为正整数，且M≥N；i和K均为正整数，且1≤i≤M，1≤K＜N。

2.根据权利要求1所述的一种基于序列重建的异常事件自动检测方法，其特征在于，所述步骤S1具体包括：

利用从审计日志中提取出的所述预定义的事件模板，对所述多源日志进行解析，以获取若干事件日志；

基于用户ID对所述若干事件日志进行分类聚合，以确定同一用户的多个事件日志，并对所述同一用户的多个事件日志按照时间顺序进行拼接，来获取所述离散事件序列。

3.根据权利要求2所述的一种基于序列重建的异常事件自动检测方法，其特征在于，在所述步骤S2中：

利用滑动窗口机制，采用预设的窗口长度对所述离散事件序列进行所述拆分处理，以获取所述若干原始子序列；

对所述若干原始子序列进行特征嵌入具体为：将各个原始子序列通过降维处理转换为具有更小维度的特征向量，作为所述输入子序列。

4.根据权利要求3所述的一种基于序列重建的异常事件自动检测方法，其特征在于，在所述步骤S2中，基于所述输入子序列生成所述离散事件序列的重建子序列具体包括：

将所述输入子序列分为训练序列和测试序列，所述训练序列用于训练所述无监督检测模型，包括：

利用所述LSTM编码器将所述训练序列压缩为抽象表征；

利用所述变分组件计算所述压缩表征的平均值和标准差，以模拟所述抽象表征的数据分布，采用标准正态随机数为种子生成待重建的抽象表征；

利用所述LSTM解码器对所述待重建的抽象表征进行解码以获取训练过程的重建子序列，当所述训练过程的重建子序列与所述输入子序列的相似度高于第一阈值时，完成所述训练过程；

将所述测试序列输入至经训练的无监督检测模型，经由所述LSTM编码器、所述变分组件和所述LSTM解码器的处理后得到测试过程的重建子序列，作为所述离散事件序列的重建子序列。