[发明专利]使用深度递归神经网络的上下文感知特征嵌入和序列日志数据的异常检测

权利要求书

1.一种方法，包括：

对于相关日志消息的序列中的每个日志消息：

从日志消息中提取一个或多个特征中的每个特征，以生成表示所述一个或多个特征的稀疏特征向量；

基于稀疏特征向量，激活编码器递归神经网络(RNN)的相应步骤；以及

由编码器RNN生成相应的嵌入式特征向量，该嵌入式特征向量基于：所述一个或多个特征以及在相关日志消息的序列中更早出现的一个或多个日志消息；

处理由编码器RNN生成的一个或多个嵌入式特征向量，以确定能够在相关日志消息的序列中出现的预测的下一个相关日志消息；

其中该方法由一个或多个计算机执行。

2.如权利要求1所述的方法，其中：

所述一个或多个特征包括至少一个类别特征；

日志消息包含所述至少一个类别特征中的每个类别特征的相应值；

从日志消息中提取每个特征以生成稀疏特征向量包括将每个相应值一位有效编码为稀疏特征向量的相应部分。

3.如权利要求1所述的方法，还包括：

从第二日志消息中提取所述一个或多个特征中的每个特征，以生成与所述稀疏特征向量相同的第二稀疏特征向量；

由编码器RNN生成第二嵌入式特征向量，该第二嵌入式特征向量基于：所述一个或多个特征以及在相关日志消息的序列中更早出现的第二一个或多个日志消息；

其中：

所述一个或多个嵌入式特征向量包括第二嵌入式特征向量和所述相应的嵌入式特征向量；

第二嵌入式特征向量不同于所述相应的嵌入式特征向量。

4.如权利要求1所述的方法，其中基于稀疏特征向量激活编码器RNN的相应步骤包括：基于稀疏特征向量，激活相应的非递归神经网络，该非递归神经网络激活编码器RNN的相应步骤。

5.如权利要求4所述的方法，其中：

相应的非递归神经网络至少包括第一神经层和第二神经层；

第一神经层的每个神经元连接到第二神经层的每个神经元。

6.如权利要求1所述的方法，其中编码器RNN包括长短期记忆(LSTM)。

7.如权利要求1所述的方法，其中所述确定所述预测的下一个相关日志消息包括预测表示所述预测的下一个相关日志消息的特征的嵌入式特征向量。

8.如权利要求1所述的方法，其中处理由编码器RNN生成的所述一个或多个嵌入式特征向量包括基于所述一个或多个嵌入式特征向量来激活预测器RNN以预测所述预测的下一个相关日志消息。

9.如权利要求8所述的方法，其中预测器RNN包括编码器RNN。

10.如权利要求1所述的方法，还包括将实际相关日志消息与预测的相关日志消息进行比较以计算预测误差。

11.如权利要求1所述的方法，还包括对相关日志消息的序列中的每个日志消息的预测误差求平均，以计算异常分数。

12.如权利要求11所述的方法，还包括指示异常分数超过阈值。

13.如权利要求12所述的方法，其中指示异常分数超过阈值包括指示以下中的至少一项：在线安全入侵或物联网(IoT)故障。

14.如权利要求1所述的方法，其中由编码器RNN生成基于所述一个或多个特征的所述相应的嵌入式特征向量包括：基于所述相应的嵌入式特征向量，激活解码器RNN，以将所述相应的嵌入式特征向量解码成重构的稀疏特征向量，该重构的稀疏特征向量近似于表示所述一个或多个特征的所述稀疏特征向量。

15.如权利要求14所述的方法，还包括将所述稀疏特征向量与所述重构的稀疏特征向量进行比较，以计算重构误差。