[发明专利]一种日志查询的处理方法及装置有效
申请号: | 201810065391.3 | 申请日: | 2018-01-23 |
公开(公告)号: | CN108038253B | 公开(公告)日: | 2021-03-12 |
发明(设计)人: | 王凯峰;王俏;王天凤 | 申请(专利权)人: | 奇安信科技集团股份有限公司 |
主分类号: | G06F16/18 | 分类号: | G06F16/18;G06F16/14 |
代理公司: | 北京路浩知识产权代理有限公司 11002 | 代理人: | 王莹;李相雨 |
地址: | 100088 北京市西城区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 日志 查询 处理 方法 装置 | ||
1.一种日志查询的处理方法,其特征在于,包括:
获取日志查询请求;以使预先配置的日志处理集群中的每一个处理单元分别解析所述日志查询请求,并根据解析结果读取各自对应的日志存储目录,以获取各自对应的日志查询结果;
在获取所述日志查询结果的同时,对所述日志查询结果进行合并处理,以获取所有日志处理集群的最终日志查询结果。
2.根据权利要求1所述的方法,其特征在于,所述解析结果包括:所述日志查询请求的查询次数;相应的,所述并根据解析结果读取各自对应的日志存储目录,以获取各自对应的日志查询结果,包括:
查找所述查询次数对应的上一次日志查询记录的索引,并由所述索引生成对应的上一次日志存储目录;
比较所述上一次日志存储目录和当前查询的所述日志存储目录,若比较结果满足预设条件,获取所述上一次日志存储目录的偏移,并从所述偏移开始读取当前查询的日志查询结果。
3.根据权利要求1所述的方法,其特征在于,所述解析结果包括:所述日志查询请求的查询时间范围,并获取写入时间,所述写入时间是合并处理的日志查询结果写满预设存储介质时对应的时间;相应的,所述方法还包括:
获取所述查询时间范围的所有日志,以及所述所有日志中的每一个日志对应的生成时间;
在所有生成时间中获取与所述查询时间范围对应的终止时间最接近的目标生成时间;
若所述目标生成时间早于所述写入时间,则直接结束获取日志查询结果;
若所述目标生成时间晚于所述写入时间,则继续获取日志查询结果。
4.根据权利要求1所述的方法,其特征在于,所述在获取所述日志查询结果的同时,对所述日志查询结果进行合并处理,以获取所有日志处理集群的最终日志查询结果,包括:
当合并处理的日志查询结果写满预设存储介质时,记录最后写入所述预设存储介质中的日志查询结果的写入时间;
在写入时间的同时,获取最后写入的日志处理集群中的一个目标,并对所述一个目标设置合并处理结束标记和日志查询结束标记;
继续读取除所述一个目标以外的剩余日志处理集群的日志查询结果,并采用下一条日志查询结果更新所述预设存储介质中的最后一条日志,并再次触发记录最后写入所述预设存储介质中的日志查询结果的写入时间,直至结束所有日志处理集群的日志查询或合并处理。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
获取所述预设存储介质中的日志查询结果的第一条和最后一条日志在所述日志存储目录中的偏移,以及所述日志存储目录的标识;
根据所述第一条日志的偏移和最后一条日志的偏移,以及所述标识,生成查找日志查询记录的索引。
6.根据权利要求1所述的方法,其特征在于,所述日志处理集群的预先配置,包括:
获取日志查询所在设备的硬件信息;所述硬件信息包括CPU的核数;
配置N个日志处理集群;并将所述日志处理集群中的每一个作为一个容器container;每个所述container用于各自的日志查询,以及采用各自的共享内存存储各自的日志查询结果,其中,N为小于等于所述核数的正整数。
7.一种日志查询的处理装置,其特征在于,包括:
获取单元,用于获取日志查询请求;以使预先配置的日志处理集群中的每一个处理单元分别解析所述日志查询请求,并根据解析结果读取各自对应的日志存储目录,以获取各自对应的日志查询结果;
合并单元,用于在获取所述日志查询结果的同时,对所述日志查询结果进行合并处理,以获取所有日志处理集群的最终日志查询结果。
8.根据权利要求7所述的装置,其特征在于,所述解析结果包括:所述日志查询请求的查询次数;相应的,所述获取单元具体用于:
查找所述查询次数对应的上一次日志查询记录的索引,并由所述索引生成对应的上一次日志存储目录;
比较所述上一次日志存储目录和当前查询的所述日志存储目录,若比较结果满足预设条件,获取所述上一次日志存储目录的偏移,并从所述偏移开始读取当前查询的日志查询结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于奇安信科技集团股份有限公司,未经奇安信科技集团股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810065391.3/1.html,转载请声明来源钻瓜专利网。