[发明专利]一种海量日志分析系统及方法

权利要求书

1.一种海量日志分析系统，其特征在于，其包括任务结点集群、管理结点和数据库；其中该任务结点集群包括至少一个任务结点，用于海量日志文件的分布式采集、存储和分析，该管理结点用于制定采集策略，对所述任务结点集群实施调度管理，完成分布式存储和分析，并由该管理结点将最终的日志分析结果和审计信息写入所述数据库。

2.如权利要求1所述的海量日志分析系统，其特征在于，单个所述任务结点负责至少一个目标对象的日志文件采集和本地存储，并接受所述管理结点的调度完成分布式存储和分析，所述任务结点的功能模块，包括日志采集模块、日志存储模块、日志预处理模块、日志分析模块和管理配置模块，该日志存储模块包括具有本地使用空间的本地存储管理模块与具有分布式文件系统空间的分布式存储管理模块。

3.如权利要求2所述的海量日志分析系统，其特征在于，所述管理结点是日志采集与分析的控制中心，该管理结点的功能模块包括采集策略模块、接收管理模块、结点调度模块和存储管理模块。

4.如权利要求2所述的海量日志分析系统，其特征在于，每个所述任务结点通过所述配置管理模块接收采集任务、设置采集的目标对象，所述日志采集模块采集日志文件，将采集的原始日志文件由所述本地存储管理模块存储于本地存储空间，所述分布式存储管理模块接受所述管理结点的调度，用于将管理结点分配的日志数据存储至所述分布式文件系统空间，实现海量日志文件的分布式存储；所述日志预处理模块将采集并存储于所述本地存储空间中的日志文件进行预处理；所述日志分析模块组成的分布式分析系统，在所述管理结点的调度下分析存储在所述分布式文件系统空间中的海量日志文件，识别安全事件，形成分布式分析结果；所述配置管理模块接受管理结点的调度管理，接收下发的任务并将预处理后的日志文件提交给所述管理结点。

5.如权利要求3所述的海量日志分析系统，其特征在于，所述采集策略模块制定采集方案，由所述结点调度模块向所述任务结点集群下发采集任务并调度执行；所述任务结点集群完成采集并提交后，所述接收管理模块接收任务结点集群提交的日志文件，由所述结点调度模块调度任务结点集群将日志文件分布式存储及分析，并由所述接收管理模块接收分析结果；所述存储管理模块将任务结点集群提交的分析结果存入所述数据库。

6.如权利要求5所述的海量日志分析系统，其特征在于，所述管理结点通过制定和下发的采集策略，将不同任务结点采集的属于同一集群的日志完成合并后再分析，得到完整的集群日志分析结果。

7.如权利要求4所述的海量日志分析系统，其特征在于，所述日志预处理模块对日志文件的预处理为过滤和格式化处理，去除那些不能体现网络安全的日志记录，并将多类型日志文件进行归一化处理，统一文件格式。

8.如权利要求4所述的海量日志分析系统，其特征在于，所述日志采集模块按一次性采集、手动采集或定时采集方式采集日志文件。

9.一种利用权利要求3所述的海量日志分析系统进行日志分析的方法，其特征在于，该方法包括：

步骤1：由采集策略模块制定采集方案，由结点调度模块将采集任务下发至任务结点集群；

步骤2：配置管理模块接受采集任务后，日志采集模块采集日志文件，同时，本地存储管理模块将日志文件存储至本地存储空间中，日志预处理模块将日志文件进行预处理后，配置管理模块向管理结点的接收管理模块提交预处理后的日志文件；

步骤3：接收管理模块接收任务结点集群提交的日志文件后，根据采集任务判断是否需要进行集群日志合并，若不需，转到下一步；若需，则将不同任务结点采集的同集群日志文件合并后输出；

步骤4：结点调度模块调度任务结点集群的分布式存储管理模块将预处理后的日志文件分片存储于任务结点集群的分布式文件系统空间；

步骤5：结点调度模块命令任务结点的日志分析模块分析本节点分布式文件系统空间中的日志文件；

步骤6：配置管理模块向管理结点的接收管理模块提交分析结果；

步骤7：存储管理模块将分析结果统一存入数据库，步骤结束。