[发明专利]一种日志处理系统和方法

权利要求书

1.一种日志处理系统，其特征在于，包括：日志接收模块、日志存储模块、分布式数据库、日志处理模块、以及多个日志采集模块，

所述日志采集模块，用于采集与其对应的业务系统的日志数据并发送至所述日志接收模块；

所述日志接收模块，用于接收每个日志采集模块发送的日志数据并进行预处理操作，所述预处理操作包括将每个日志采集模块发送的日志数据的格式转换为同一格式；

所述日志存储模块，用于将经过预处理的日志数据存储至所述分布式数据库中；

所述日志处理模块，用于接收业务系统的日志处理请求，根据所述日志处理请求进行相应的数据处理，并将处理结果发送至发出所述日志处理请求的业务系统。

2.根据权利要求1所述的系统，其特征在于，所述系统还包括：

动态资源分配模块，用于针对每个业务系统，对在所述分布式数据库中存储的日志数据容量进行监测，当日志数据容量超过与其对应的预设容量阈值后，清除该业务系统在所述分布式数据库中存储的第一日志数据，所述第一日志数据的容量为预设第一容量，所述第一容量大于零且小于所述容量阈值，所述第一日志数据在所述分布式数据库中的存储时间早于该业务系统的非所述第一日志数据。

3.根据权利要求1所述的系统，其特征在于，所述系统还包括：

可定制化模块，用于利用MapReduce对所述分布式数据库中存储的日志数据进行离线分析处理。

4.根据权利要求3所述的系统，其特征在于，所述可定制化模块，还用于：

利用Storm对所述日志接收模块接收的实时日志数据进行实时分析。

5.根据权利要求1所述的系统，其特征在于，所述系统还包括：

可定制化模块，利用Storm对所述日志接收模块接收的实时日志数据进行实时分析。

6.一种日志处理方法，其特征在于，包括：

采集多个业务系统的日志数据；

对每个业务系统对应的日志数据进行预处理操作，所述预处理操作包括将每个业务系统对应的日志数据的格式转换为同一格式；

将经过预处理的日志数据存储至分布式数据库中；

接收业务系统的日志处理请求，根据所述日志处理请求进行相应的数据处理，并将处理结果发送至发出所述日志处理请求的业务系统。

7.根据权利要求6所述的方法，其特征在于，在所述将经过预处理的日志数据存储至分布式数据库中后，还包括：

针对每个业务系统，对在所述分布式数据库中存储的日志数据容量进行监测，当日志数据容量超过与其对应的预设容量阈值后，清除该业务系统在所述分布式数据库中存储的第一日志数据，所述第一日志数据的容量为预设第一容量，所述第一容量大于零且小于所述容量阈值，所述第一日志数据在所述分布式数据库中的存储时间早于该业务系统的非所述第一日志数据。

8.根据权利要求6所述的方法，其特征在于，在所述将经过预处理的日志数据存储至分布式数据库中后，还包括：

利用MapReduce对所述分布式数据库中存储的日志数据进行离线分析处理。

9.根据权利要求8所述的方法，其特征在于，所述方法，还包括：

利用Storm对日志接收模块接收的实时日志数据进行实时分析。

10.根据权利要求6所述的方法，其特征在于，所述方法，还包括：

利用Storm对日志接收模块接收的实时日志数据进行实时分析。