[发明专利]一种日志数据排序的方法及装置有效
申请号: | 201710821367.3 | 申请日: | 2017-09-13 |
公开(公告)号: | CN107729375B | 公开(公告)日: | 2021-11-23 |
发明(设计)人: | 王嘉伟 | 申请(专利权)人: | 微梦创科网络科技(中国)有限公司 |
主分类号: | G06F16/172 | 分类号: | G06F16/172;G06F16/16 |
代理公司: | 北京卓岚智财知识产权代理事务所(特殊普通合伙) 11624 | 代理人: | 任漱晨 |
地址: | 100193 北京市海淀区东北旺西路中关村*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 日志 数据 排序 方法 装置 | ||
本发明实施例提供了一种日志数据排序的方法及装置,该方法包括:针对排序周期内每一个最小时间单元,按照时间顺序依次创建各个最小时间单元分别对应的一个中间存储文件,得到中间存储文件集合;获取日志文件,顺序读取所述日志文件中的每一条日志数据,针对每一条日志数据,执行如下操作:解析读取到的当前日志数据的记录时间;确定中间存储文件集合中与解析出的记录时间所属最小时间单元相对应的中间存储文件;并将读取到的当前日志数据存储至确定出的中间存储文件中;按照时间顺序依次读取各个中间存储文件,并将读取到的各个中间存储文件中的每一条日志数据依次存储至日志存储文件中。通过本发明实现了快速简单地对巨大数量的数据进行排序。
技术领域
本发明涉及计算机技术领域,尤其涉及一种日志数据排序的方法及装置。
背景技术
随着计算机技术的快速发展,人们的生活也越来越依赖各种互联网应用产品,在用户使用互联网应用产品的过程中将产生大量的数据,为了保证互联网应用产品运营过程中的网络安全,日志数据发挥了重要的作用。如由各种操作系统、应用程序、设备和安全产品的日志数据能够帮助互联网产品运营商发现和避开灾难,并且找到安全事件的根本原因,因此,互联网产品运营商需要对大量的日志数据进行读取分析。现有技术中对日志数据的存储方式往往依据时间顺序排序后存储,使得日志数据为大致有序的日志,例如,登录日志中大致有序的日志为:登录日志的每一行是一条登录的信息,并以登录时间作为第一个字段,由于部分日志的时间可能会存在日志时间和所在行数不匹配的现象,因此大致有序意思是随着行数的增长,时间字段是大致随之增长的。现有技术中,在大型网站在运行过程中记录每一步操作的细节作为日志数据,其中,如登录日志中需要记录每次登录的登录时间、登录用户和登录设备等信息,日志读取时通过系统命令,如利用Linux操作系统中的sort(排序)命令来制定日志文件,即可输出排好序的日志数据。
在实现本发明过程中,发明人发现现有技术中至少存在如下问题:当登录日志的数据量巨大时,对登录日志的随机读取将变得非常困难,只有顺序一行行的读取才能保证读取操作的性能,虽然通过该方式读取日志数据的操作简单,但是无法适用于日志文件中数据量巨大的情况。
发明内容
本发明实施例提供一种日志数据排序的方法及装置,实现了快速、简单地对巨大数量的数据进行排序。
一方面,本发明实施例提供了一种日志数据排序的方法,包括:
针对排序周期内每一个最小时间单元,按照时间顺序依次创建各个最小时间单元分别对应的一个中间存储文件,得到中间存储文件集合;
获取日志文件,顺序读取所述日志文件中的每一条日志数据,针对每一条日志数据,执行如下操作:解析读取到的当前日志数据的记录时间;确定中间存储文件集合中与解析出的记录时间所属最小时间单元相对应的中间存储文件;并将读取到的当前日志数据存储至确定出的中间存储文件中;
按照时间顺序依次读取各个中间存储文件,并将读取到的各个中间存储文件中的每一条日志数据依次存储至日志存储文件中。
另一方面,本发明实施例提供了一种日志数据排序的装置,包括:
创建单元,用于针对排序周期内每一个最小时间单元,按照时间顺序依次创建各个最小时间单元分别对应的一个中间存储文件,得到中间存储文件集合;
获取单元,用于获取日志文件,顺序读取所述日志文件中的每一条日志数据,针对每一条日志数据,执行如下操作:解析读取到的当前日志数据的记录时间;确定中间存储文件集合中与解析出的记录时间所属最小时间单元相对应的中间存储文件;并将读取到的当前日志数据存储至确定出的中间存储文件中;
读取及存储单元,用于按照时间顺序依次读取各个中间存储文件,并将读取到的各个中间存储文件中的每一条日志数据依次存储至日志存储文件中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于微梦创科网络科技(中国)有限公司,未经微梦创科网络科技(中国)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710821367.3/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置