[发明专利]一种分布式环境下实时日志的无损采集方法及其系统

权利要求书

1.一种分布式环境下实时日志的无损采集方法，其特征在于，所述方法包括：

获取日志文件中的日志消息；

采用Disk-Assisted缓冲模式对所述日志消息进行缓存；

实时更新状态信息到偏移量状态文件；

记录日志文件与偏移量状态文件的对应关系；

判断日志文件是否出现漏采情况；

若日志文件出现漏采情况，则调用配置模块接口，生成漏采日志文件的采集配置文件；

所述一种分布式环境下实时日志的无损采集方法还包括：

提供网页进行统一配置与发布，具体地，对进行采集的日志文件名称、进程号、路径、归档路径与是否删除的信息进行配置，配置完成生成配置模板文件；发布前需要选择配置模板文件与完成发布所属集群、主机组发布信息的配置，进行发布操作后，网页界面将配置模板文件发布到对应主机的Eops-Agent采集器采集配置模板目录下，并重启采集器，完成采集发布。

2.根据权利要求1所述的一种分布式环境下实时日志的无损采集方法，其特征在于，采用Disk-Assisted缓冲模式对所述日志消息进行缓存的步骤之后，还包括：

对日志消息进行格式化与过滤。

3.根据权利要求1所述的一种分布式环境下实时日志的无损采集方法，其特征在于，获取日志文件中的日志消息的步骤，包括以下具体步骤：

判断采集路径中是否含有“*”，若采集路径中含有“*”，则根据目录生成实际的采集配置文件，采集多目录下的日志文件，或者，若采集路径中不含有“*”，则进行下一步骤；

判断采集路径中是否含有“{date}”，若采集路径中含有“{date}”，则定时根据当日日期生成对应的采集配置文件，采集动态日期目录下的日志文件，或者，若采集路径中不含有“{date}”，则采集单目录下的日志文件。

4.根据权利要求3所述的一种分布式环境下实时日志的无损采集方法，其特征在于，采用Disk-Assisted缓冲模式对所述日志消息进行缓存的步骤，包括以下具体步骤：

判断内存队列是否处于满载状态或者退出状态；

若内存队列不处于满载状态或者退出状态，则将所述日志消息缓存于所述内存列队中；

若内存队列处于满载状态或者退出状态，则激活磁盘队列，将所述日志消息持久化到磁盘中。

5.根据权利要求4所述的一种分布式环境下实时日志的无损采集方法，其特征在于，若日志文件出现漏采情况，则调用配置模块接口，生成漏采日志文件的采集配置文件的步骤之后，还包括：

对最后更新时间为历史日期的日志文件发起归档与删除操作。

6.一种分布式环境下实时日志的无损采集系统，其特征在于，包括输入单元、消息缓存单元、输出单元、记录单元以及数据检测单元；

所述输入单元，用于获取日志文件中的日志消息；

所述消息缓存单元，用于采用Disk-Assisted缓冲模式对所述日志消息进行缓存；

所述输出单元，用于实时更新状态信息到偏移量状态文件；

所述记录单元，用于记录日志文件与偏移量状态文件的对应关系；

所述数据检测单元，用于判断日志文件是否出现漏采情况，若日志文件出现漏采情况，则调用配置模块接口，生成漏采日志文件的采集配置文件；

还包括配置单元，所述配置单元用于提供网页进行统一配置与发布，具体地，对进行采集的日志文件名称、进程号、路径、归档路径与是否删除的信息进行配置，配置完成生成配置模板文件；发布前需要选择配置模板文件与完成发布所属集群、主机组发布信息的配置，进行发布操作后，网页界面将配置模板文件发布到对应主机的Eops-Agent采集器采集配置模板目录下，并重启采集器，完成采集发布。

7.根据权利要求6所述的一种分布式环境下实时日志的无损采集系统，其特征在于，所述一种分布式环境下实时日志的无损采集系统还包括解析过滤单元，所述解析过滤单元用于对日志消息进行格式化与过滤。