[发明专利]日志文件压缩包的解析方法、装置、设备及介质

说明书

本发明实施例公开了一种日志文件压缩包的解析方法、装置、设备及介质。该方法包括：通过基于Flume预先创建的文件读取类读取日志文件压缩包；其中，所述日志文件压缩包中包括多个bcp文件；通过所述文件读取类中的自定义反序列化器，对所述日志文件压缩包进行行数据解析，并将解析结果存储到至消息队列中。上述技术方案实现了基于Flume对日志文件压缩包的解析。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种加密压缩包解析方法、装置、设备及介质。

背景技术

日志收集系统(Flume)是一个分布式、高可靠的、高可用的海量日志采集、聚合和传输的系统，它支持在日志系统中定制各类数据发送方，以用于收集数据；同时，Flume还具有对数据进行简单处理和分析的能力。

目前，通过Flume分析的日志文件，通常是针对无压缩的原始日志文件，而对于以压缩包形式存在的日志文件，无法直接通过Flume进行解析。因此，如何基于Flume实现对日志文件压缩包的解析，是亟待解决的问题。

发明内容

本发明实施例提供一种日志文件压缩包的解析方法、装置、设备及介质，以基于Flume实现对日志文件压缩包的解析。

第一方面，本发明实施例提供了一种日志文件压缩包的解析方法，包括：

通过基于Flume预先创建的文件读取类读取日志文件压缩包；其中，所述日志文件压缩包中包括多个bcp文件；

通过所述文件读取类中的自定义反序列化器，对所述日志文件压缩包进行行数据解析，并将解析结果存储到至消息队列中。

第二方面，本发明实施例还提供了一种日志文件压缩包的解析装置，包括：

日志文件压缩包读取模块，设置为通过基于Flume预先创建的文件读取类读取日志文件压缩包；其中，所述日志文件压缩包中包括多个bcp文件；

日志文件压缩包行数据解析模块，设置为通过所述文件读取类中的自定义反序列化器，对所述日志文件压缩包进行行数据解析，并将解析结果存储到至消息队列中。

第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任意实施例所述的日志文件压缩包的解析方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的日志文件压缩包的解析方法。

本发明实施例提供的技术方案中，通过基于Flume预先创建的文件读取类读取包括多个bcp文件的日志文件压缩包，再通过文件读取类中的自定义反序列化器，对日志文件压缩包进行行数据解析，并将解析结果存储到至消息队列中，实现了基于Flume对日志文件压缩包的解析。

附图说明

图1是本发明实施例一中的一种日志文件压缩包的解析方法的流程示意图；

图2a是本发明实施例二中的一种日志文件压缩包的解析方法的流程示意图；

图2b是本发明实施例二中的一种实时分析日志文件压缩包的流程示意图；

图3是本发明实施例三中的一种日志文件压缩包的解析装置的结构示意图；

图4是本发明实施例四中的一种计算机设备的硬件结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。