[发明专利]一种日志处理系统和方法

说明书

技术领域

本发明涉及数据处理领域，更具体地说，涉及一种日志处理系统和方法。

背景技术

随着网络业务的不断发展，每个公司内部的业务系统的构建越来越多，例如OA系统、人力资源系统和物料管理系统等。每个业务系统都使用独立的日志管理模块，各个系统之间，在日志采集与处理方法上无法复用，在日志格式上存在异构。同时，各系统中的日志没有统一集中管理，从公司层面上造成日志管理的混乱。

发明内容

有鉴于此，本发明提出一种日志处理系统和方法，欲实现多源日志的统一管理，日志采集与处理的复用，以及数据格式统一管理的目的。

为了实现上述目的，现提出的方案如下：

一种日志处理系统，包括：日志接收模块、日志存储模块、分布式数据库、日志处理模块、以及多个日志采集模块，

所述日志采集模块，用于采集与其对应的业务系统的日志数据并发送至所述日志接收模块；

所述日志接收模块，用于接收每个日志采集模块发送的日志数据并进行预处理操作，所述预处理操作包括将每个日志采集模块发送的日志数据的格式转换为同一格式；

所述日志存储模块，用于将经过预处理的日志数据存储至所述分布式数据库中；

所述日志处理模块，用于接收业务系统的日志处理请求，根据所述日志处理请求进行相应的数据处理，并将处理结果发送至发出所述日志处理请求的业务系统。

优选的，所述系统，还包括：

动态资源分配模块，用于针对每个业务系统，对在所述分布式数据库中存储的日志数据容量进行监测，当日志数据容量超过与其对应的预设容量阈值后，清除该业务系统在所述分布式数据库中存储的第一日志数据，所述第一日志数据的容量为预设第一容量，所述第一容量大于零且小于所述容量阈值，所述第一日志数据在所述分布式数据库中的存储时间早于该业务系统的非所述第一日志数据。

优选的，所述系统，还包括：

可定制化模块，用于利用MapReduce对所述分布式数据库中存储的日志数据进行离线分析处理。

优选的，所述系统，还包括：

可定制化模块，用于利用MapReduce对所述分布式数据库中存储的日志数据进行离线分析处理，且，还用于利用Storm对所述日志接收模块接收的实时日志数据进行实时分析。

优选的，所述系统还包括：

可定制化模块，利用Storm对所述日志接收模块接收的实时日志数据进行实时分析。

一种日志处理方法，包括：

采集多个业务系统的日志数据；

对每个业务系统对应的日志数据进行预处理操作，所述预处理操作包括将每个业务系统对应的日志数据的格式转换为同一格式；

将经过预处理的日志数据存储至分布式数据库中；

接收业务系统的日志处理请求，根据所述日志处理请求进行相应的数据处理，并将处理结果发送至发出所述日志处理请求的业务系统。

优选的，所述方法，在所述将经过预处理的日志数据存储至分布式数据库中后，还包括：

针对每个业务系统，对在所述分布式数据库中存储的日志数据容量进行监测，当日志数据容量超过与其对应的预设容量阈值后，清除该业务系统在所述分布式数据库中存储的第一日志数据，所述第一日志数据的容量为预设第一容量，所述第一容量大于零且小于所述容量阈值，所述第一日志数据在所述分布式数据库中的存储时间早于该业务系统的非所述第一日志数据。

优选的，所述方法，在所述将经过预处理的日志数据存储至分布式数据库中后，还包括：

利用MapReduce对所述分布式数据库中存储的日志数据进行离线分析处理。

优选的，所述方法，还包括：

利用Storm对日志接收模块接收的实时日志数据进行实时分析；

在所述将经过预处理的日志数据存储至分布式数据库中后，还包括：利用MapReduce对所述分布式数据库中存储的日志数据进行离线分析处理。

优选的，所述方法，还包括：

利用Storm对日志接收模块接收的实时日志数据进行实时分析。

与现有技术相比，本发明的技术方案具有以下优点：