[发明专利]一种日志压缩存储方法、电子装置

说明书

本发明涉及一种日志压缩存储方法、电子装置。所述方法包括如下流程：步骤一、预先定义日志存储结构；所定义的日志存储结构分为参数区、索引区、日志区；索引区包含N条索引；N为整数，N等于一天的总时长与所定义的最小日志切割时间单位的比值；步骤二、确定日志压缩自定义参数，并存储到参数区；步骤三、根据日志压缩自定义参数对需要压缩的原始日志进行压缩。本发明按照时段对日志进行同步压缩解压和展示，提升使用人员查看日志的便捷程度，提高定位问题的效率。

技术领域

本发明涉及数据压缩处理技术领域，特别是一种日志压缩存储方法、电子装置。

背景技术

各种网站和软件都会生成各种日志，为了方便查找和定位问题，往往需要对这些日志进行备份和归档。归档的时候，为了降低日志占用的存储空间，往往会对历史日志进行压缩存储。但是，压缩存储和日志查询还是存在相互矛盾的地方，不压缩日志，日志量比较大的话，需要浪费较多的存储空间，不利于节约企业成本；但是压缩日志之后，查看日志又非常不方便，一般需要先解压之后才能正常浏览，耗时且不方便。

1、如果日志内容较大，压缩和解压花费的时间很长；解压的文件如果过多，则同样会造成比较严重的磁盘空间的浪费；如果日志查询人员对日志的日期不是特别确定，或者需要的日志可能发生在日期交替的时间点，则往往需要对多个文件进行解压才能看到需要的日志，这对于定位和分析问题而言，都存在较大的时间成本。

2、elk等技术本身存在一定的学习成本；另外，其用来存储的elasticsearch并没有解决占用存储空间过多的问题；如果自建则存在一定的维护成本，如果采用云服务则需要支付相应的存储成本。

发明内容

为解决上述问题，本发明提供了1.一种日志压缩存储方法，其特征在于，包括如下流程：

步骤一、预先定义日志存储结构；所定义的日志存储结构分为参数区、索引区、日志区；索引区包含N条索引；N为整数，N等于一天的总时长与所定义的最小日志切割时间单位的比值；

步骤二、确定日志压缩自定义参数，并存储到参数区；所述日志压缩自定义参数包括时间参数、存储路径；所述时间参数包括最小日志切割时间单位、时间戳精度；

步骤三、根据日志压缩自定义参数对需要压缩的原始日志进行压缩；处理后的各条日志及其相关信息作为一条日志信息顺次存储到日志区；时间戳属于同一个最小日志切割时间单元内的所有日志对应同一条索引，每条索引内存在有其所对应日志区的相关信息；日志区按条存储日志信息。

进一步的，日志压缩自定义参数还包括日志总条数、日志总行数。

进一步的，每条索引信息包含其所对应日志信息中，第一条日志的文件偏移量、该索引区的日志条数、第一条日志的时间戳。

进一步的，每条日志信息包含该条日志的时间戳、上一条日志的相对偏移量、下一条日志的相对偏移量、日志中的行数、日志的内容。

进一步的，日志压缩自定义参数还包括日志压缩最低长度阈值，每条日志信息还包括日志压缩标志，当带压缩的日志字节长度大于或者等于日志压缩最低长度阈值时，日志压缩标志为压缩标志，否则为未压缩标志。

进一步的，日志压缩自定义参数还包含表示具体压缩算法类型的标志。

进一步的，还包括压缩日志的流程，包括：

S1:预定义浏览日志的自定义参数；包括日志开始时间、结束时间、一次查看的日志条数；

S2:根据浏览日志的自定义参数，按照时间顺序解压日志区内对应时间段内的日志信息；当日志条数超过或者等于一次查看的日志条数时，解压对应数量的压缩日志，否则全部解压；

S3:按照时间顺序显示各条日志。