[发明专利]一种分布式环境下实时日志的无损采集方法及其系统有效
申请号: | 201710221073.7 | 申请日: | 2017-04-06 |
公开(公告)号: | CN106991177B | 公开(公告)日: | 2020-11-13 |
发明(设计)人: | 张雷;张伟;何广柏 | 申请(专利权)人: | 广东亿迅科技有限公司 |
主分类号: | G06F16/17 | 分类号: | G06F16/17;G06F16/182;G06F16/23 |
代理公司: | 深圳市精英专利事务所 44242 | 代理人: | 冯筠 |
地址: | 510000 广东省广州*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明涉及一种分布式环境下实时日志的无损采集方法及其系统,该方法包括获取日志文件中的日志消息;采用Disk‑Assisted缓冲模式对所述日志消息进行缓存;实时更新状态信息到偏移量状态文件;记录日志文件与偏移量状态文件的对应关系;判断日志文件是否出现漏采情况;若日志文件出现漏采情况,则调用配置模块接口,生成漏采日志文件的采集配置文件。本发明通过将日志消息持久化到磁盘中,保障消息不丢失,偏移量状态文件的更新有利于保障消息不丢失或重复发送数据,对日志文件进行漏采判断,防止漏采情况发生,实现无损的采集实时日志,配置以及运营均方便,性能高,保障分布式系统日志采集实时性与可靠性,具有强大的异常重采能力。 | ||
搜索关键词: | 一种 分布式 环境 实时 日志 无损 采集 方法 及其 系统 | ||
【主权项】:
一种分布式环境下实时日志的无损采集方法,其特征在于,所述方法包括:获取日志文件中的日志消息;采用Disk‑Assisted缓冲模式对所述日志消息进行缓存;实时更新状态信息到偏移量状态文件;记录日志文件与偏移量状态文件的对应关系;判断日志文件是否出现漏采情况;若日志文件出现漏采情况,则调用配置模块接口,生成漏采日志文件的采集配置文件。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广东亿迅科技有限公司,未经广东亿迅科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201710221073.7/,转载请声明来源钻瓜专利网。