[发明专利]日志处理方法、装置、电子设备及计算机可读存储介质

说明书

本发明提供了一种日志处理方法、装置、电子设备及计算机可读存储介质；方法包括：对文件系统中的日志分区进行周期性查找，得到候选日志分区；其中，所述日志分区用于存储设定周期内产生的增量日志；在所述候选日志分区中确定未分配的日志分区；当所述未分配的日志分区中的增量日志已就绪时，将所述未分配的日志分区分配至计算任务，以通过所述计算任务，对所述未分配的日志分区中的增量日志进行聚合处理，得到日志报表。通过本发明，能够降低存储资源的占用，同时提升日志处理效率。

技术领域

本发明涉及大数据技术，尤其涉及一种日志处理方法、装置、电子设备及计算机可读存储介质。

背景技术

在传统的日志处理过程中，总是先采集日志，并将积累的大批量日志存储至数据库中，当需要时再对数据库中的日志进行相关处理。但是该种方式的时效性较差，并不适用于实时环境。因此，引出了一种新的处理流程，即流式计算，流式计算的核心在于对实时变化的数据流进行分析处理，捕捉其中可用的信息。

在流式计算中，受上游任务的处理能力或者特殊的业务逻辑影响，日志的生成可能会存在延迟，在相关技术提供的方案中，为了减少因延迟带来的计算等待，通常是将已就绪的日志从原始的日志分区搬运到另一个日志分区，以进行计算。但是，该种方式会导致文件系统的存储资源占用过高，日志处理的时间开销也较大。

发明内容

本发明实施例提供一种日志处理方法、装置、电子设备及计算机可读存储介质，能够减少存储资源的占用，加快日志处理效率。

本发明实施例的技术方案是这样实现的：

本发明实施例提供一种日志处理方法，包括：

对文件系统中的日志分区进行周期性查找，得到候选日志分区；其中，所述日志分区用于存储设定周期内产生的增量日志；

在所述候选日志分区中确定未分配的日志分区；

当所述未分配的日志分区中的增量日志已就绪时，将所述未分配的日志分区分配至计算任务，以

通过所述计算任务，对所述未分配的日志分区中的增量日志进行聚合处理，得到日志报表。

本发明实施例提供一种日志处理装置，包括：

查找模块，用于对文件系统中的日志分区进行周期性查找，得到候选日志分区；其中，所述日志分区用于存储设定周期内产生的增量日志；

确定模块，用于在所述候选日志分区中确定未分配的日志分区；

分配模块，用于当所述未分配的日志分区中的增量日志已就绪时，将所述未分配的日志分区分配至计算任务，以

通过所述计算任务，对所述未分配的日志分区中的增量日志进行聚合处理，得到日志报表。

本发明实施例提供一种电子设备，包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现本发明实施例提供的日志处理方法。

本发明实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本发明实施例提供的日志处理方法。

本发明实施例具有以下有益效果：

通过对文件系统中的日志分区进行周期性查找，确定出文件系统中未分配的日志分区，并将其分配给计算任务进行聚合处理，由于传递的是分配关系，故减少了文件系统的存储资源的占用，提升了日志处理的效率。

附图说明

图1是相关技术提供的日志处理过程的一个示意图；

图2是本发明实施例提供的日志处理系统的一个可选的架构示意图；