[发明专利]一种多维度自适应日志分类分级方法和装置

说明书

本申请实施例提供了一种多维度自适应日志分类分级方法和装置，该方法包括：先获取预设时间窗口内的M条日志，基于日志类型标识对M条日志进行分组，获得多个第一日志分组。针对任一第一日志分组，采用多个日志字段标识，对第一日志分组内的N条日志进行分组，获得每个日志字段标识对应的多个第二日志分组。再针对M条日志中的任一条日志，将日志对应的第一日志分组标识以及各第二日志分组标识，作为日志的分类标签，基于获得的多个分类标签，对M条日志进行分类。本申请基于每个预设时间窗口内的M条日志所包含的日志类型标识和日志字段标识对M条日志进行分类，保证了分类、分级的准确性，提升自适应性，减少了对专家经验的依赖程度。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种多维度自适应日志分类分级方法和装置。

背景技术

随着网络技术的发展，企业业务系统的稳定性越来越受到重视。为了保证企业业务系统的稳定性，系统运维平台时刻监测企业业务系统收到的网络攻击行为，并生成日志。由于系统运维平台所生成的日志的规模非常庞大，并且部分日志为无效日志，若将所有日志全部呈现给安全分析员进行分析，这将会导致安全分析员的工作量繁重，工作效率较低，同时无法保证日志分析的准确性。因此，亟需一种日志分类方法，对系统运维平台生成的日志进行分类，再由安全分析员对分类后的日志进行分析，以便提高安全分析员的工作效率。

目前，一般采用静态匹配方法，如指定的IP地址等，对大量的日志进行分类。然而，上述静态匹配方法过度依赖专家经验，成本较高，并且不便于针对不同的网络攻击行为进行动态调整，导致日志分类结果并不准确，进而无法保证后续日志分析的准确性。

发明内容

本申请实施例提供了一种多维度自适应日志分类分级方法和装置，用于提高日志分类结果的准确性，进而便于进行后续的日志分析。

一方面，本申请实施例提供了一种多维度自适应日志分类分级方法，该方法包括：

获取预设时间窗口内的M条日志，所述日志包括日志类型标识和日志字段标识；其中，M0；

基于所述M条日志包含的日志类型标识，对所述M条日志进行分组，获得多个第一日志分组；

针对任一第一日志分组，采用所述第一日志分组中的每个日志字段标识，对所述第一日志分组内的N条日志进行分组，获得每个日志字段标识对应的多个第二日志分组；其中，0NM；

针对所述M条日志中的任一条日志，将所述日志所在的第一日志分组对应的第一日志分组标识，以及所在的各第二日志分组各自对应的第二日志分组标识，作为所述日志的分类标签；

基于获得的多个分类标签，对所述M条日志进行分类。

可选地，所述采用所述第一日志分组中的每个日志字段标识，对所述第一日志分组内的N条日志进行分组，获得每个日志字段标识对应的多个第二日志分组，包括：

针对所述第一日志分组中的任一日志字段标识，分别从所述第一日志分组内的N条日志中，获取所述日志字段标识对应的多个日志字段文本；

分别对获得的多个日志字段文本进行预处理，并将预处理后的日志字段文本进行聚类，获得多个第二日志分组。

可选地，所述分别对获得的日志字段文本进行预处理，包括：

针对任一日志字段文本，执行以下步骤：

对所述日志字段文本进行文本分词，获得多个日志字段分词；

分别对所述多个日志字段分词进行词向量化，获得多个日志字段分词向量，并将所述多个日志字段分词向量作为预处理后的日志字段文本。

可选地，还包括：

针对任一分类标签，从所述分类标签对应的多条日志中选取一条日志，作为目标日志；