[发明专利]一种日志处理方法和装置有效
申请号: | 201610710011.8 | 申请日: | 2016-08-23 |
公开(公告)号: | CN106294866B | 公开(公告)日: | 2020-02-11 |
发明(设计)人: | 徐胜国;王义辉;王素梅;沈迪;李铮 | 申请(专利权)人: | 北京奇虎科技有限公司;奇智软件(北京)有限公司 |
主分类号: | G06F16/18 | 分类号: | G06F16/18 |
代理公司: | 11323 北京市隆安律师事务所 | 代理人: | 权鲜枝;何立春 |
地址: | 100088 北京市西城区新*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种日志处理方法和装置,该方法包括:每隔预设时间段从输入源接收一段数据流,每段数据流中包括在前一预设时间段内产生的多条日志;在接收到每段数据流后,对该段数据流中的每条日志进行初次解析,得到每条日志对应的指定结构数据;对该段数据流中多条日志对应的多个指定结构数据进行初次聚合,对初次聚合后的指定结构数据进行缓存;当到达预设统计周期的计算时机时,对缓存的指定结构数据进行计算处理,得到该统计周期对应的日志处理结果。该过程中间无需借助存储介质,不会产生由于启用进程读写存储介质而带来的延迟,对日志的初次解析、初次聚合及计算处理均一次性完成,效率高、运行稳定、中间数据不易丢失、尽可能保证日志处理的实时性。 | ||
搜索关键词: | 一种 日志 处理 方法 装置 | ||
【主权项】:
1.一种日志处理方法,其中,该方法包括:/n每隔预设时间段从输入源接收一段数据流,每段数据流中包括在前一预设时间段内产生的多条日志;/n在接收到每段数据流后,对该段数据流中的每条日志进行初次解析,得到每条日志对应的指定结构数据;对该段数据流中多条日志对应的多个指定结构数据进行初次聚合,对初次聚合后的指定结构数据进行缓存;/n当到达预设统计周期的计算时机时,对缓存的指定结构数据进行计算处理,得到该统计周期对应的日志处理结果;/n其中,每隔预设时间间隔,调度一个线程读取用户输入的配置信息;所述配置信息中包括:时间配置信息,输入源信息,解析规则,和/或,计算规则;/n所述每隔预设时间段从输入源接收一段数据流包括:根据所述配置信息中的时间配置信息确定预设时间段,根据所述配置信息中的输入源信息确定输入源,每隔预设时间段从相应的输入源接收一段数据流。/n
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇虎科技有限公司;奇智软件(北京)有限公司,未经北京奇虎科技有限公司;奇智软件(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201610710011.8/,转载请声明来源钻瓜专利网。
- 上一篇:隔膜
- 下一篇:浏览器中的浏览主站排序方法及装置