[发明专利]一种日志收集系统及其收集方法

说明书

技术领域

本发明涉及信息处理技术领域，尤其是一种日志收集系统及其收集方法。

背景技术

日志记录模块是每个应用程序，底层操作系统必须的基础模块。在系统运行过程中产生日志文件，可以记录系统的运行状况，用户的各种操作行为。当系统运行缓慢，或者异常退出时；通过查看日志文件，可以快速定位问题、修复缺陷，让系统正常运行。

目前日志记录这项功能无论在操作系统层面，还是普通应用程序都已经十分成熟。大致的来说，日志记录分为以下步骤：

1、调用日志模块的API接口，记录日志

2、将记录的日志持久化，存储到指定地方

3、日志查看

虽然日志模块已经十分成熟，但仍然存在以下弊端：

一是，使用某种日志技术必须使用该技术提供的API接口，对于原有应用，需要大刀阔斧地修改程序的源代码，修改起来相当麻烦。

二是，收集日志数据时可定制性差。

三是，日志查看，现有分析的机制不完善，往往只是简单的查询到日志产生的来源，时间等简单的信息。

发明内容

本发明解决的技术问题之一是针对部署在不同操作系统上的不同应用的日志收集管理困难、效率低下的问题，提出一种跨平台跨应用的日志收集系统。

本发明解决的技术问题之二是针对部署在不同操作系统上的不同应用的日志收集管理困难、效率低下的问题，提出一种跨平台跨应用的日志收集管理方法。

本发明解决上述技术问题之一的技术方案是：

包括有日志采集客户端、日志服务器和统一管理页面三部分；日志采集客户端对分散在不同操作系统不同应用的日志进行采集，并根据自定义日志格式、类型或其他关键字，有选择地采集日志数据；日志服务器用于接收日志采集客户端发送的日志数据，并进行压缩、存储、备份和恢复；同时对重要日志进行报警通知关系人员；统一管理页面，提供与用户交互的界面，对日志采集客户端和日志服务器进行系统配置与维护，分析不同应用中终端用户的操作行为。

本发明解决上述技术问题之二的技术方案是：

由以下步骤完成，

第1步，日志采集客户端部署分散在内部网络中的各台物理机的，由其根据预先定制好的日志模板与采集频率收集日志数据，然后发送到日志服务器；并且对原有应用系统的日志记录接口不作修改；

第2步，日志服务器监听各日志采集客户端传送过来的日志数据，并将监听到的数据存储到数据库中；然后对其自动进行压缩后备份到文件中；在有查看请求时，从备份文件解压数据，恢复到数据库中；

第3步，用户通过统一管理页面查看日志服务器接收的相关日志信息。

本发明提供一种易于扩展的日志模板机制；以模板的形式提供日志的筛选过滤功能，做到完成定制化，本发明引入各种web界面，报表展示方式，集合多种分析处理方法，对日志数据进行深入挖掘分析，形象生动展示。

因此，本发明对不同操作系统，不同应用产生的日志进行快速有效收集，并且能从中分析统计比日志数据本身更有用的信息，如系统运行状况，用户操作行为等。

附图说明

下面结合附图对本发明进一步说明：

图1是本发明系统框图；

图2是本发明方法实施流程图。

具体实施方式

通过对现有日志模块的不足之处进行深入分析，本发明提出了一种跨平台跨应用的日志收集系统及其收集管理方法，如图1所示，所述系统包括有日志采集客户端、日志服务器和统一管理页面三部分；日志采集客户端对分散在不同操作系统不同应用的日志进行采集，并根据自定义日志格式、类型或其他关键字，有选择地采集日志数据；日志服务器用于接收日志采集客户端发送的日志数据，并进行压缩、存储、备份和恢复；同时对重要日志进行报警通知关系人员；统一管理页面，提供与用户交互的界面，对日志采集客户端和日志服务器进行系统配置与维护，分析不同应用中终端用户的操作行为。

本发明的处理流程如图2，主要包括以下3个实施步骤：

由以下步骤完成，

第1步，日志采集客户端部署分散在内部网络中的各台物理机的，由其根据预先定制好的日志模板与采集频率收集日志数据，然后发送到日志服务器；并且对原有应用系统的日志记录接口不作修改；

第2步，日志服务器监听各日志采集客户端传送过来的日志数据，并将监听到的数据存储到数据库中；然后对其自动进行压缩后备份到文件中；在有查看请求时，从备份文件解压数据，恢复到数据库中；

第3步，用户通过统一管理页面查看日志服务器接收的相关日志信息。