[发明专利]日志存储方法、系统、存储介质及电子设备

说明书

本申请公开了一种日志存储方法、系统、存储介质及电子设备，日志存储方法包括：获取步骤：获取多条待处理日志；编码步骤：将多条所述待处理日志中的内容进行编码，得到日志编码结果；合并步骤：将多条所述待处理日志进行分组形成多个日志组，将多个所述日志编码结果及多个所述日志组合并获得日志存储记录；构建步骤：在所述日志存储记录中根据查询条件内容信息及索引指针构建索引信息；存储步骤：将所述日志存储记录中的所述日志编码结果及所述索引信息进行编排后得到二进制字节块并存入数据库中。本发明提出了一种新颖的日志存储结构，可以方便的定位和日志内容，提高查询效率。

技术领域

本发明属于日志存储领域，具体涉及一种日志存储方法、系统、存储介质及电子设备。

背景技术

日志作在软件开发和维护中扮演者重要的角色，软件系统通常都是由多个不同模块组成，各个模块之间相互交织，最终完成特定的功能。当系统比较复杂时，一旦出现了问题，日志系统可以帮助开发和运维人员快速排查和定位问题。但是，日志的存储和查询是比较困难的，特别是针对Flink这样的流式任务，流式任务会产生大量的日志；另外，由于Flink是一种分布式任务，所以这些日志可能产生在不同的主机上。这对流式日志的存储和查询带来了非常大的困难。

目前针对流式日志的处理一种方法是使用大数据组件，比如将日志存储在HDFS、或者Hive上，由于这些大数据组件可以保存大量数据，所以可以从根本上解决流式日志的存储问题。但是使用HDFS或者HIVE这样的组件在日志的查询效率不高，如果要提高查询效率可能需要再次引入其他便于查询的组件辅助。

ELK架构是另一种常用的日志存储方案，将日志存储到ELK系统中，可以同时解决存储和查询效率问题。

但是，无论哪种方案，都需要引入第三方组件，并且引入了额外的学习成本，特别是针对中小型应用(日处理量在1亿-10亿)，引入大数据组件会增加系统的复杂性。

发明内容

本申请实施例提供了一种日志存储方法、系统、存储介质及电子设备，以至少解决现有的日志存储方法需要引入额外的学习成本的问题。

本发明提供了一种日志存储方法，其中，包括：

获取步骤：获取多条待处理日志；

编码步骤：将多条所述待处理日志中的内容进行编码，得到日志编码结果；

合并步骤：将多条所述待处理日志进行分组形成多个日志组，将多个所述日志编码结果及多个所述日志组合并获得日志存储记录；

构建步骤：在所述日志存储记录中根据查询条件内容信息及索引指针构建索引信息；

存储步骤：将所述日志存储记录中的所述日志编码结果及所述索引信息进行编排后得到二进制字节块并存入数据库中。

上述日志存储方法，其中，还包括查询步骤：

对待查询日志设立查询条件，读取所述待查询日志的元信息获得操作类型长度，根据所述操作类型长度利用二分查找算法对所述待查询日进行查询获得查询结果。

上述日志存储方法，其中，所述编码步骤包括：

当对所述待处理日志中的数据格式、操作数据及操作结果进行编码时，通过建立映射文件，利用所述映射文件对每个数据格式化结果、操作数据表及每个操作结果进行转化得到对应的编码结果。

上述日志存储方法，其中，所述编码步骤还包括：

当对所述待处理日志中的时间数据进行编码时，将所述时间数据映射为二进制字节数据。

上述日志存储方法，其中，所述编码步骤还包括：

当对所述待处理日志中的操作内容进行编码时，通过编码器对所述操作内容进行编码。