[发明专利]一种分布式环境下实时日志的无损采集方法及其系统

说明书

本发明涉及一种分布式环境下实时日志的无损采集方法及其系统，该方法包括获取日志文件中的日志消息；采用Disk‑Assisted缓冲模式对所述日志消息进行缓存；实时更新状态信息到偏移量状态文件；记录日志文件与偏移量状态文件的对应关系；判断日志文件是否出现漏采情况；若日志文件出现漏采情况，则调用配置模块接口，生成漏采日志文件的采集配置文件。本发明通过将日志消息持久化到磁盘中，保障消息不丢失，偏移量状态文件的更新有利于保障消息不丢失或重复发送数据，对日志文件进行漏采判断，防止漏采情况发生，实现无损的采集实时日志，配置以及运营均方便，性能高，保障分布式系统日志采集实时性与可靠性，具有强大的异常重采能力。

技术领域

本发明涉及日志采集方法，更具体地说是指一种分布式环境下实时日志的无损采集方法及其系统。

背景技术

随着平台化技术和分布式计算技术的发展，用于记录用户操作、系统运行状态的日志可能遍布成百上千的服务器上,如何将这些数据收集到一起,供后续分析使用,是一大技术难题。分布式采集系统的出现就是为了满足分布式系统环境下海量日志的采集需求，分布式采集系统利用分布在网络联通的多个计算机节点上的采集器，通过元数据统一管理、采集器分布存放实现分布式环境下系统的日志采集。

目前，通常采用Rsyslog以及Logstash两种方式进行日志的采集，Rsyslog是Linux日志机制的核心常驻服务，该服务负责监听Linux下的日志信息，并把日志信息追加到对应的日志文件中，一般在/var/log目录下。它还可以把日志信息通过网络协议发送到另一台Linux服务器上。Rsyslog采用模块化设计，能够定制各类数据发送方，同时提供对数据进行处理并写到各种数据接受方(可定制)的能力。Logstash是一款轻量级的日志搜集处理框架，可以方便的把分散的、多样化的日志搜集起来，并进行自定义的处理，然后传输到指定的位置。Logstash也采用模块化设计，能够支持多种发送方，同时提供对数据进行处理并写到各种数据接受方(可定制)的能力。其低准入门槛适合小企业使用。

使用Rsyslog进行采集日志文件时会有以下的缺点：

1、Rsyslog的单点问题会导致异常退出期间部分滚动输出的日志文件无法采集。

2、Rsyslog不支持动态日志目录采集如每日更新的日期目录，同时也不支持对相同结构的多目录进行统一配置与采集。

3、Rsyslog不支持采集后日志文件的归档与删除，日志输出目录的文件数量越来越多，需要人工归档与删除。

使用Logstash进行采集日志文件时会有以下的缺点：

1、Logstash的单点问题会导致异常退出期间，会出现高概率的重发与丢失日志消息。

2、Logstash不支持动态日志目录采集如每日更新的日期目录，同时也不支持对相同结构的多目录进行统一配置与采集。

3、Logstash都不支持采集后日志文件的归档与删除，日志输出目录的文件数量越来越多。

4、在分布式系统环境下，Logstash采集配置等元数据没有中心化配置与发布等功能，无法对各个主机的采集元数据有效管理。

5、在分布式系统环境下，Logstash没有提供监控输出接口，无法有效管理Logstash地状态。

4、Logstash采用ruby开发，采集性能低下。

因此，有必要设计一种分布式环境下实时日志的无损采集方法及其系统，实现无损的采集实时日志，配置以及运营均方便，且性能高，不仅保障分布式系统日志采集实时性与可靠性，同时具有了强大的异常重采能力。

发明内容

本发明的目的在于克服现有技术的缺陷，提供一种分布式环境下实时日志的无损采集方法及其系统。