[发明专利]一种网络日志数据管理方法、系统及装置

说明书

技术领域

本发明涉及通信技术领域，尤其涉及一种网络日志数据管理方法、系统及装置。

背景技术

随着网络的发展，用户对于网络的需求也从网络基础服务向精细化、应用分析和网络服务管理转变，网络的运行状态，流量数据被逐渐重视，而这些信息被淹没在大量的网络日志中，对网络行为的分析带来巨大的挑战。网络日志指包括网络行为信息并符合一定格式规范的日志记录，这些日志具有多种形式，可以是网络报文或特定格式的日志文件。由于网络日志内容繁杂，且形式各异，属于典型的异构数据，给日志数据的管理带来较大难度。

目前，对于网络日志多采用原始日志存入数据库或提取部分信息后丢弃原始日志的处理方式。现有技术中，网络日志保存在数据库中，如图1所示，以数据库为核心，将日志文件及网络报文接收处理后保存到数据库中，Web服务器从数据库中查询用户需要的信息，进行数据展示。这种日志处理方案严重依赖于数据库，所有数据都存放在数据库中，由于数据以原始形态存放，占用较多的磁盘空间，提高了系统的部署成本，同时数据库过大还会导致查询性能下降，数据文件无法收缩从而导致磁盘空间耗尽，引起数据库系统异常，进而影响整个应用系统的稳定性。

因此，现有技术中的网络日志数据管理方式存在如下缺陷：

1、由于日志数据以原始形态存在数据库中，虽然查询速度较快，但占用大量的磁盘空间，限制了日志数据的保存时间。

2、日志数据全部存放在数据库中，随着系统运行，数据库会不断膨胀，如果用户不进行控制或控制不当，会造成历史数据丢失或磁盘空间耗尽进而导致业务中断。

3、现有系统的日志数据保存和清理需要用户手工干预，虽然具有一些日志定期清理的功能，但是当突发大数据量产生时，不能根据磁盘当前状况，确定日志处理方式，进行智能化的日志管理。

发明内容

本发明提供了一种网络日志数据管理方法、系统及装置，综合日志空间监控、日志空间分析和趋势预测、空间管理措施执行的智能日志数据管理方案，提供自动智能的日志数据管理功能。

本发明提供了一种网络日志数据管理方法，应用于包括日志处理器、数据库、日志管理装置和WEB服务器的系统中，所述方法包括以下步骤：

所述日志处理器从网络报文和日志文件获取日志数据，并存储于所述数据库；

所述日志管理装置统一对所述日志数据进行存储、读取或清理，使所述WEB服务器从所述日志管理装置读取日志数据，对所述日志数据进行操作。

所述日志管理装置统一对所述日志数据进行存储、读取或清理，具体包括：

对数据库中的日志数据所使用的空间进行检测；

根据空间使用情况对空间使用增长趋势进行分析和预测；

根据分析和预测结果及预定义策略或用户自定义的管理策略执行存储、读取或清理操作。

所述对数据库中的日志数据所使用的空间进行检测，具体包括：

按照预设周期定时启动空间检测操作，在每个空间检测执行周期开始时检测数据库使用情况和磁盘使用情况，将检测结果存入数据库中；

所述对空间使用增长趋势进行分析和预测，具体包括：

根据空间检测结果，分析当前日志数据空间状态，并结合历史信息通过增量分析和基线分析预测空间变化趋势；

所述分析和预测结果及预定义策略或用户自定义的管理策略执行存储、读取或清理操作，具体包括：

在接收到日志空间分析/预测结果后，根据结果在策略列表中查找符合条件的策略并执行。

所述检测数据库使用情况，具体包括：

查询数据库的大小、数据库已使用空间和数据库位置；

所述检测磁盘使用情况，具体包括：

根据数据库位置和转储路径，确定需要检测的磁盘分卷；检测所述分卷的容量大小、分卷已使用空间的大小。

所述结合历史信息通过增量分析和基线分析预测空间变化趋势，具体包括：

根据空间检测结果判断数据库当前空间使用量是否达到阈值，如果达到，将空间信息提交策略执行模块；

如果没有达到，获取周期内数据库的变化量，读取增量基线数据，根据基线判断增量值是否在正常范围内，如果不在，发出数据空间使用量增量告警，如果在，读取数据空间使用量历史值，使用本次空间信息和历史信息进行空间趋势预测，将预测结果提交策略执行模块。

本发明提供了一种网络日志数据管理系统，包括日志处理器、数据库、WEB服务器和日志管理装置；

所述日志处理器，用于从网络报文和日志文件获取日志数据，并存储于所述数据库；