[发明专利]一种降低日志文件空间占用的方法、存储介质及终端

说明书

本发明公开了一种降低日志文件空间占用的方法、存储介质及终端，涉及计算机技术领域。其中方法包括：构建索引表以及数据查找结构；计算日志语句中每一字符串的CRC编码，并添加至数据查找结构；将字符串添加至索引表，将日志语句中的目标字符串替换为索引表中对应位置的索引值。与打点日志法相比，本发明不需要每次更新源代码之后立即同步更新索引表，在节约大量时间成本的同时，还天然保证了日志文件和索引表的版本一致性，可靠性更高；本发明方法具备写入字符串类型参数的能力，扩展性和灵活性更强；与压缩日志法相比，本发明方法的时间复杂度和空间复杂度更低，更加节约处理器算力。

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种降低日志文件空间占用的方法、存储介质及终端。

背景技术

日志功能对于服务器、通信基站、工业网关和路由器等需要长时间持续运行的设备来讲是一项必备的基础功能，完善的日志功能可以非常有效地帮助运维人员排查定位设备的问题。然而，由于设备的长时间持续运行，必将会产生大量的日志数据，这些日志文件将造成相当大的空间占用。与此同时，无论是硬盘存储器还是闪存，其价格都与存储容量呈正相关，庞大的日志数据文件给设备的生产和运维带来了巨大的成本负担。

容易想到的是，为解决以上提及的问题，我们可以将每一条日志语句映射为一个索引值，在存储日志语句的时候仅需要存储日志语句相对应的索引值和参数即可，也就是通信行业较为常用的打点日志法。其运行逻辑的流程图如图2所示。

然而，打点日志法存在两个问题，一个是打点日志必须在每次更新源代码之后，使用独立的索引表生成器将整个工程的源代码扫描一遍，并提取源代码中存在的所有日志语句，为每一条日志语句生成一个全局唯一的索引值，最终形成索引表文件。对于规模较大的软件工程而言，以上的过程是相当耗时的。而且，一旦在源代码更新之后没有立即更新索引表，将造成源代码和索引表的版本不一致，这将会使得最终生成的日志文件无法正常解析和显示。二是打点日志没有写入字符串类型参数的能力，这将严重限制日志功能的扩展性和灵活性。

而另一种在互联网领域常用的降低日志文件空间占用的方法是压缩日志法，如图3所示，也就是在写入日志语句到文件之前对日志数据进行压缩，这可以非常有效地降低日志文件空间占用。但是，压缩日志数据的算法较为复杂，对于处理器算力的消耗通常也是比较大的。然而，我们并不希望在降低日志文件空间占用的同时，消耗掉太多的处理器算力，毕竟处理器算力才是整台设备当中最宝贵的资源。

发明内容

本发明在于提供一种降低日志文件空间占用的方法、存储介质及终端，其克服了现有的打点日志法和压缩日志法所存在的上述问题，既可以显著降低日志文件空间占用，又非常节约处理器算力。

为了解决上述的问题，本发明采取的技术方案如下：

第一方面，本发明提供了一种降低日志文件空间占用的方法，包括以下步骤：

S1、构建数据查找结构以及索引表；

S2、基于数据查找结构和索引表处理日志语句；

S3、保存处理后的日志语句；

所述步骤S2包括以下步骤：

S21、判断日志语句是否存在字符串，若存在，则继续执行步骤S22，若不存在，则日志语句处理过程结束；

S22、提取日志语句中的字符串作为目标字符串；

S23、计算目标字符串的CRC编码；

S24、判断数据查找结构中是否存在目标字符串的CRC编码，若存在，则跳转至步骤S27，若不存在，则继续执行步骤S25；

S25、将目标字符串的CRC编码添加至数据查找结构；

S26、将目标字符串添加到索引表；

S27、将日志语句中的目标字符串替换为索引表中对应位置的索引值，跳转至步骤S21。