[发明专利]一种安全日志集中存储方法及装置

说明书

技术领域

本发明涉及通信技术领域，尤其涉及一种安全日志集中存储方法及装置。

背景技术

在网络安全领域，安全回溯是一个很重要的内容，其主要依据的是各类安全设备、网络设备、主机以及网络探针等产生的日志，通过将这些日志数据集中存储起来，进行查询、审计，从而从纷繁复杂的海量日志中获取有价值的日志信息帮助用户提前发现和避开灾难，并且找到安全事件的根本原因，保护和提高网络安全。目前，已经出现的日志服务器、日志审计系统以及行为审计系统就是这样一类产品，这些产品的运行基础就是安全日志的集中存储，即将设备、主机、网络探针等产生的日志集中存储一定的时间，按照相关法规的要求，需要存储三个月以上。按照现网统计的数据，每天服务器主机、数据库、网络设备都会产生大量的日志，经常达到几十TB(Terabyte，兆位元组，1TB＝1,024GB)，在某些骨干网络，甚至可以达到上百TB。不仅如此，这些日志的产生还非常密集，可达到10000条/秒以上。

目前，对日志信息的管理方式基本有两种：基于文件系统和基于数据库系统。

虽然采用数据库系统管理日志信息的管理方式能够实现对所有日志信息实行统一、集中的管理，实现日志信息的共享，但由于数据库中的日志信息独立于应用程序之外，因此基于数据库的日志信息管理方式通常都是采用分批导入的方式定期、分批的采用手工或其它方法将日志信息导入数据库中进行存储、分析，因而这种采用数据库的方式管理日志信息无法达到日志实时插入的性能，给实时分析和告警带来了困难。

传统的基于文件系统的日志信息管理方式是将日志信息以文件的形式长期保存在外存储器中，应用程序在访问日志信息时，根据文件名打开日志文件进行访问。虽然传统的基于文件系统的日志信息管理方式达到了日志信息实时插入的要求，利于实时分析和告警，但由于日志信息不具备结构性，且各文件之间相互孤立，当日志数据的量非常大时，查找起来十分困难，为分析和告警带来了很大的难度。

发明内容

本发明实施例提供了一种在保证安全日志实时插入的性能基础上，能适应在海量日志数据中快速查找安全日志的安全日志集中存储方法。

本发明实施例的目的在于提供一种使用上述存储方法的安全日志集中存储装置。

根据本发明实施例的一方面，提供一种安全日志集中存储方法，所述存储方法采用文件系统存储日志文件，所述方法包括根据时间建立至少两个数据块，所述数据块用于存放日志数据；将数据块分级存放在各级目录下，所述目录根据时间生成；根据各级目录以及目录中的数据块建立针对日志数据的N级索引；所述N为大于1的自然数。

根据本发明实施例的一方面，提供一种安全日志集中存储装置，所述安全日志存储装置包括数据处理单元、数据存储单元、数据管理单元，所述数据处理单元，用于根据时间建立至少两个数据块，所述数据块用于存放日志数据；所述数据存储单元，用于将数据处理单元所述的数据块存放在各级目录下，所述目录根据时间生成；所述数据管理单元，用于根据数据存储单元中所述的各级目录以及目录中的数据块建立针对时间的N级索引；所述N为大于1的自然数。

从上述技术方案可以看出，本发明实施例的技术方案在充分考虑和利用了安全日志时间有序的特点后，采用文件系统来存储安全日志，保证了日志插入的实时性。又由于本发明实施例所述技术方案将安全日志分成数据块并按时间段分目录、分级存放，在此基础上建立了针对数据时间的多级索引，因此，根据索引能够在海量日志数据中快速查找日志数据，方便了安全日志的查找定位，有利于实时分析和告警。

附图说明

图1为本发明实施例一所提供的安全日志集中存储方法示意图；

图2为本发明实施例一所提供的安全日志集中存储方法流程示意图；

图3为本发明实施例一所提供安全日志集中存储方法中的二级索引结构的建立和维护方法示意图；

图4为本发明实施例一所提供安全日志集中存储方法中的二级索引结构示意图；

图5为本发明实施例二所提供的安全日志集中存储方法示意图；

图6为本发明实施例二所提供的安全日志集中存储方法中的文件系统队列的管理示意图；

图7为本发明实施例所二提供的安全日志集中存储方法流程示意图；

图8为本发明实施例一所提供的安全日志集中存储装置示意图；

图9为本发明实施例一所提供的安全日志集中存储装置中的数据存储单元的结构示意图；

图10为本发明实施例一所提供的安全日志集中存储装置中的数据管理单元的结构示意图；