[发明专利]一种实时采集滚动日志的方法及系统有效
| 申请号： | 201610851865.8 | 申请日： | 2016-09-26 |
| 公开（公告）号： | CN106569936B | 公开（公告）日： | 2019-05-03 |
| 发明（设计）人： | 石祖恒;黄利庆;韩昌雷 | 申请（专利权）人： | 深圳盒子信息科技有限公司 |
| 主分类号： | G06F11/34 | 分类号： | G06F11/34 |
| 代理公司： | 深圳中一专利商标事务所 44237 | 代理人： | 张全文 |
| 地址： | 518000 广东省深圳市南山区*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种实时采集滚动日志的方法及系统，涉及计算机技术领域。其中方法包括：监控日志文件目录是否发生预设事件，预设事件包括文件新建事件和文件修改事件；若发生预设事件，则获取该文件中文件指针的当前读取位置filepointer以及该文件的文件长度filelength，根据文件中文件指针的filepointer和该文件的filelength读取新增的文件内容，并将读取到的文件内容发送至日志收集系统Flume的数据序列化的消息源Avro Source。本发明能够有效的消除日志文件目录下新文件创建、文件内容不断修改和临时文件重命名情况对日志采集的影响，实现滚动日志的实时采集，提高日志收集的可靠性。 | ||
| 搜索关键词： | 一种 实时 采集 滚动 日志 方法 系统 | ||
【主权项】：
1.一种实时采集滚动日志的方法，其特征在于，包括：监控日志文件目录是否发生预设事件，所述预设事件包括文件新建事件和文件修改事件；若发生预设事件，则获取该文件中文件指针的当前读取位置filepointer以及该文件的文件长度filelength，根据所述文件中文件指针的filepointer和该文件的filelength读取新增的文件内容，并将读取到的文件内容发送至日志收集系统Flume的数据序列化的消息源Avro Source；所述若发生预设事件，则获取该文件中文件指针的当前读取位置filepointer以及该文件的文件长度filelength，根据所述文件中文件指针的filepointer和该文件的filelength读取新增的文件内容，并将读取到的文件内容发送至日志收集系统的数据序列化的消息源Avro Source具体包括：若发生预设事件，则获取所述文件的文件名，并根据所述文件名获取所述文件的设备号、文件索引号以及filelength；判断日志收集系统的缓存中是否存在所述文件的缓存信息；若不存在所述文件的缓存信息，则将文件中文件指针的filepointer设置为0，在[0，filelength]范围内按行读取文件内容，并将读取到的内容发送至日志收集系统的Avro Source；若存在所述文件的缓存信息，则根据所述设备号和所述文件索引号从所述缓存中读取该文件中文件指针的filepointer，并根据所述文件指针的filepointer、所述文件的filelength以及所述预设事件的事件类型读取新增的文件内容，将读取到的文件内容发送至日志收集系统的Avro Source。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于深圳盒子信息科技有限公司，未经深圳盒子信息科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201610851865.8/，转载请声明来源钻瓜专利网。
