[发明专利]一种日志采集装置及方法

权利要求书

1.一种日志采集装置，其特征在于，包括：

日志监控模块，用于监控当前服务器上的多个应用系统的日志文件；确定各日志文件新增的记录，并保存各日志文件以及新增的记录；

数据传输服务模块，用于将新增的记录进行跨网传输以导入云平台的Hadoop分布式文件系统HDFS功能，和/或，根据需要将保存的日志文件进行跨网传输以导入云平台的HDFS功能。

2.如权利要求1所述的装置，其特征在于，进一步包括：

传输服务监控模块，用于监控记录和/或日志文件的传输过程，以使数据传输服务模块的传输进程处于运行状态。

3.如权利要求1或2所述的装置，其特征在于，日志监控模块进一步用于通过监听所监控的应用系统的文件的修改、或创建、或删除事件的线程并响应来对应用系统进行监控。

4.如权利要求1所述的装置，其特征在于，日志监控模块进一步用于在保存各日志文件以及新增的记录时，在内存中保存各日志文件以及新增的记录，并标识已经处理或未处理；定时将已经处理或未处理的各日志文件以及新增的记录保存至磁盘文件。

5.如权利要求1所述的装置，其特征在于，数据传输服务模块进一步用于采用分布式消息系统Kafka提供的应用程序编程接口API暂时存储所述日志数据，在将所述日志数据导入至Hadoop分布式文件系统时，使用Simple Consumer接口利用Zookeeper同步机制保存对所述日志数据消费的偏移量。

6.如权利要求1所述的装置，其特征在于，数据传输服务模块进一步用于在传输记录和/或日志文件至云平台服务器时，当日志采集装置位于内网时，将记录和/或日志文件传输至云平台服务器；或，当日志采集装置位于外网时，在内网设置单向传输的跳转节点，通过跳转节点传输记录和/或日志文件至云平台服务器。

7.一种日志采集方法，其特征在于，包括如下步骤：

监控当前服务器上的多个应用系统的日志文件；

确定各日志文件新增的记录，并保存各日志文件以及新增的记录；

将新增的记录进行跨网传输以导入云平台的HDFS功能，和/或，根据需要将保存的日志文件进行跨网传输以导入云平台的HDFS功能。

8.如权利要求1所述的方法，其特征在于，进一步包括：

监控记录和/或日志文件的传输过程，以使传输进程处于运行状态。

9.如权利要求1或2所述的方法，其特征在于，监控当前服务器上的多个应用系统的日志文件，是通过监听所监控的应用系统的文件的修改、或创建、或删除事件的线程并响应来对应用系统进行监控的。

10.如权利要求1所述的方法，其特征在于，保存各日志文件以及新增的记录，包括：

在内存中保存各日志文件以及新增的记录，并标识已经处理或未处理；

定时将已经处理或未处理的各日志文件以及新增的记录保存至磁盘文件。

11.如权利要求1所述的方法，其特征在于，进一步包括：

采用分布式消息系统Kafka提供的应用程序编程接口API暂时存储所述日志数据，在将所述日志数据导入至Hadoop分布式文件系统时，使用Simple Consumer接口利用Zookeeper同步机制保存对所述日志数据消费的偏移量。

12.如权利要求1所述的方法，其特征在于，传输记录和/或日志文件至云平台服务器，包括：

当监测的服务器位于内网时，将记录和/或日志文件传输至云平台服务器；或，当监测的服务器位于外网时，在内网设置单向传输的跳转节点，通过跳转节点传输记录和/或日志文件至云平台服务器。