[发明专利]日志处理方法、系统、存储介质及计算机设备

权利要求书

1.一种日志处理方法，其特征在于，所述方法包括：

日志收集，基于SIEM技术收集数据源，所述数据源包括运维类日志和安全类日志，所述运维类日志包括操作系统日志、中间件日志、数据库日志、网络设备日志、安全设备日志、业务系统的操作日志和/或告警日志，所述安全类日志为安全设备的攻击日志；

日志解析，通过日志类型的调研和分析，明细化所需的日志字段，进行全量日志的范式化整合，并通过实时计算引擎，结合攻击关联向量，进行数据清洗和预处理；

日志存储和分析，将解析后的数据放入消息队列，此时数据将分为两份，一份范式化后的数据直接入库，另一份基于范式化后的结果用于查询、统计、分析；

日志展示，将分析结果或查询统计结果送至前端进行调用和展示。

2.根据权利要求1所述的日志处理方法，其特征在于，所述日志解析的步骤具体包括：

对操作系统日志及数据库日志按照各自类型解析，建立不同的索引序列，以进行主机排障及安全关联分析；

对中间件日志进行合并解析，集合成HTTP访问请求索引，以作为安全分析的基准数据；

对网络设备日志按照各自类型解析，建立不同的索引序列，以进行设备排障及安全关联分析；

对安全设备日志进行合并解析，集合成安全告警索引，以直接进行处置。

3.根据权利要求1所述的日志处理方法，其特征在于，所述日志存储和分析的步骤中，采用全文搜索引擎ES进行日志数据存储，所述全文搜索引擎ES采样分布式集群架构，包括管理节点、协调节点、数据节点；

所述数据节点用于存储数据，创建本地索引，同时处理数据相关的操作；

所述协调节点用于接收客户端的请求，同时进行请求的转发和合并；

所述管理节点用于集群管理。

4.根据权利要求3所述的日志处理方法，其特征在于，所述日志存储的步骤包括：

将所述数据节点根据不同的资源配比打上标签；

定义2个时序索引的Index Template，包括Hot Template和Warm Template；

用Hot Template创建一个Active Index名为active-logs-1，别名active-logs，支持索引切割；

插入一定数据后，通过roller over api将active-logs切割，并将切割前的Index移动到Warm Nodes上，并阻止写入；

通过ShrinkingAPI收缩索引active-logs-1为inactive-logs-1，原Shard为5，收缩到2或3；

通过force-merging api合并inactive-logs-1索引每个Shard的Segment；

删除active-logs-1。

5.根据权利要求4所述的日志处理方法，其特征在于，所述日志分析的步骤包括：

关键字匹配，根据基本关键字或定制正则匹配进行日志分析；

统计分析，基于时间、频率、字段值的统计分析；

聚合分析，以计算出的基准数据为标准进行的异常分析；

关联分析，将多个告警场景的数据进行关联分析，以深度挖掘内在联系，还原攻击场景和攻击结果。

6.一种日志处理系统，其特征在于，所述系统包括：

日志收集模块，用于基于SIEM技术收集数据源，所述数据源包括运维类日志和安全类日志，所述运维类日志包括操作系统日志、中间件日志、数据库日志、网络设备日志、安全设备日志、业务系统的操作日志和/或告警日志，所述安全类日志为安全设备的攻击日志；

日志解析模块，用于通过日志类型的调研和分析，明细化所需的日志字段，进行全量日志的范式化整合，并通过实时计算引擎，结合攻击关联向量，进行数据清洗和预处理；

日志存储和分析模块，用于将解析后的数据放入消息队列，此时数据将分为两份，一份范式化后的数据直接入库，另一份基于范式化后的结果用于查询、统计、分析；

日志展示模块，用于将分析结果或查询统计结果送至前端进行调用和展示。