[发明专利]一种海量日志分析系统及方法

说明书

技术领域

 本发明有关一种日志分析系统及方法，特别是指一种在大型复杂网络中对海量日志分析的系统及方法。

背景技术

当前，针对网络环境中关键信息资源的威胁数量和类型都在急剧上升，如何及时对网络攻击行为做出主动反应，是网络安全领域近年来的研究热点。通过分析日志文件对网络安全态势进行评估已得到越来越广泛的认可。然而，当前的日志分析系统通常由日志采集代理和分析管理系统组成，可对数据量较小的日志进行安全分析，但面对大型、复杂网络中的海量日志文件，其以工具形态工作的方式无法较好地胜任采集与分析任务，并且缺乏对整体日志数据的综合分析，无法使网络成为一个整体来应对安全事件；而且大型网络中，由于网络的复杂性，由其他网络安全设备、负载均衡设备带来诸多的不确定因素，也需要采集、分析能力更为强劲，部署更为灵活的日志分析系统。

发明内容

有鉴于此，本发明的主要目的在于提供一种在大型复杂网络中对海量日志文件分析的系统及方法。

为达到上述目的，本发明提供一种海量日志分析系统，其包括任务结点集群、管理结点和数据库；其中该任务结点集群包括至少一个任务结点，用于海量日志文件的分布式采集、存储和分析，该管理结点用于制定采集策略，对所述任务结点集群实施调度管理，完成分布式存储和分析，并由该管理结点将最终的日志分析结果和审计信息写入所述数据库。

单个所述任务结点负责至少一个目标对象的日志文件采集和本地存储，并接受所述管理结点的调度完成分布式存储和分析，所述任务结点的功能模块，包括日志采集模块、日志存储模块、日志预处理模块、日志分析模块和管理配置模块，该日志存储模块包括具有本地使用空间的本地存储管理模块与具有分布式文件系统空间的分布式存储管理模块。

所述管理结点是日志采集与分析的控制中心，该管理结点的功能模块包括采集策略模块、接收管理模块、结点调度模块和存储管理模块。

每个所述任务结点通过所述配置管理模块接收采集任务、设置采集的目标对象，所述日志采集模块采集日志文件，将采集的原始日志文件由所述本地存储管理模块存储于本地存储空间，所述分布式存储管理模块接受所述管理结点的调度，用于将管理结点分配的日志数据存储至所述分布式文件系统空间，实现海量日志文件的分布式存储；所述日志预处理模块将采集并存储于所述本地存储空间中的日志文件进行预处理；所述日志分析模块组成的分布式分析系统，在所述管理结点的调度下分析存储在所述分布式文件系统空间中的海量日志文件，识别安全事件，形成分布式分析结果；所述配置管理模块接受管理结点的调度管理，接收下发的任务并将预处理后的日志文件提交给所述管理结点。

所述采集策略模块制定采集方案，由所述结点调度模块向所述任务结点集群下发采集任务并调度执行；所述任务结点集群完成采集并提交后，所述接收管理模块接收任务结点集群提交的日志文件，由所述结点调度模块调度任务结点集群将日志文件分布式存储及分析，并由所述接收管理模块接收分析结果；所述存储管理模块将任务结点集群提交的分析结果存入所述数据库。

所述管理结点通过制定和下发的采集策略，将不同任务结点采集的属于同一集群的日志完成合并后再分析，得到完整的集群日志分析结果。

所述日志预处理模块对日志文件的预处理为过滤和格式化处理，去除那些不能体现网络安全的日志记录，并将多类型日志文件进行归一化处理，统一文件格式。

所述日志采集模块按一次性采集、手动采集或定时采集方式采集日志文件。

本发明还提供一种海量日志分析方法，该方法包括：

步骤1：由采集策略模块制定采集方案，由结点调度模块将采集任务下发至任务结点集群；

步骤2：配置管理模块接受采集任务后，日志采集模块采集日志文件，同时，本地存储管理模块将日志文件存储至本地存储空间中，日志预处理模块将日志文件进行预处理后，配置管理模块向管理结点的接收管理模块提交预处理后的日志文件；

步骤3：接收管理模块接收任务结点集群提交的日志文件后，根据采集任务判断是否需要进行集群日志合并，若不需，转到下一步；若需，则将不同任务结点采集的同集群日志文件合并后输出；

步骤4：结点调度模块调度任务结点集群的分布式存储管理模块将预处理后的日志文件分片存储于任务结点集群的分布式文件系统空间；

步骤5：结点调度模块命令任务结点的日志分析模块分析本节点分布式文件系统空间中的日志文件；

步骤6：配置管理模块向管理结点的接收管理模块提交分析结果；