[发明专利]一种基于日志分析的网络异常预警方法

权利要求书

1.一种基于日志分析的网络异常预警方法，其特征在于，包括：

采集目标网络的预定时段内的日志数据；

根据预定的日志数据过滤规则，对采集到的日志数据进行过滤，得到待解析的日志数据；

根据预定的日志数据解析规则，将待解析的日志数据的格式统一转换为预定的日志数据格式；

按照预定的日志数据相关性评判规则将格式统一后的日志数据划分为若干组训练数据；

采用每组训练数据对相应的预定的神经网络模型进行训练，得到与该组训练数据对应的网络异常预测模型；

基于得到的多个网络异常预测模型对目标网络进行异常预测，并在预测出的日志的级别达到预定的告警级别时，对目标告警对象进行预警；

神经网络模型为引入自注意力机制的Seq2Seq模型；

所述预定的日志数据格式为[priority] [IP/source] [YYYY-MM-DD] [hh:mm:ss][URI][message]；

将格式统一后的日志数据划分为若干组训练数据包括：

根据日志数据的来源将格式统一后的日志数据划分为若干个日志数据集，得到日志数据集序列；

以日志数据集序列为对象，提取预定长度的时间窗内的日志数据序列；

对提取到的日志数据序列进行分割，得到每个日志数据来源的日志数据组；

计算每个日志数据来源的日志数据组的权重矩阵；

在每个日志数据来源的日志数据组的权重矩阵中选取预定数量的在前关键分词，并汇总为分词词典；

根据每个日志数据来源的日志数据组对于所述分词词典中分词的词频确定该日志数据来源的日志数据组的特征矢量；

根据任意两个日志数据来源的日志数据组的特征矢量计算该两个日志数据来源的日志数据组的余弦相似度，

当余弦相似度大于预定的日志数据相关阈值时，将该两个日志数据来源的日志数据组归为同一组训练数据，

当余弦相似度小于或等于预定的日志数据相关阈值时，将该两个日志数据来源的日志数据组归为不同的两组训练数据。

2.如权利要求1所述的基于日志分析的网络异常预警方法，其特征在于，采集目标网络的预定时段内的日志数据之后，还包括：

对采集到的目标网络的预定时段内的日志数据进行存储。

3.如权利要求1所述的基于日志分析的网络异常预警方法，其特征在于，在提取预定长度的时间窗内的日志数据序列之后，还包括：

对提取到的日志数据序列内每个日志数据的级别进行编码。

4.如权利要求1所述的基于日志分析的网络异常预警方法，其特征在于，采用Tri-Gram语言模型对提取到的日志数据序列进行分割。

5.如权利要求1所述的基于日志分析的网络异常预警方法，其特征在于，在对提取到的日志数据序列进行分割之后，还包括：

对分割得到的每个日志数据进行首尾标记。

6.如权利要求1所述的基于日志分析的网络异常预警方法，其特征在于，权重矩阵为TF-IDF矩阵。

7.如权利要求6所述的基于日志分析的网络异常预警方法，其特征在于，在每个日志数据来源的日志数据组的TF-IDF矩阵中选取前10个关键分词，汇总为分词词典。

8.如权利要求1所述的基于日志分析的网络异常预警方法，其特征在于，基于得到的多个网络异常预测模型对目标网络进行异常预测包括：

实时采集目标网络新生成的日志数据；

根据预定的日志数据过滤规则，对采集到的日志数据进行过滤，得到待解析的日志数据；

根据预定的日志数据解析规则，将待解析的日志数据的格式转换为预定的日志数据格式；

按照预定的日志数据相关性评判规则确定与解析后的日志数据呈强相关的在先训练数据组；

将解析后的日志数据转换为序列形式，并按照时间顺序依次输入在先训练数据组对应的网络异常预测模型中，得到预测的日志数据。