[发明专利]一种日志处理方法、装置、电子设备及存储介质

说明书

本公开关于一种日志处理方法、装置、电子设备及存储介质，其中，日志处理方法包括：获取目标业务应用的日志配置信息；所述日志配置信息包括日志收集配置信息，所述日志收集配置信息指示预设时间段内需要收集的目标日志数据的数量，所述目标日志数据为满足预设条件的日志数据；根据所述日志收集配置信息收集所述目标业务应用产生的日志数据，得到收集的所述目标日志数据；处理收集的所述目标日志数据。本公开可以灵活控制日志数据收集的数量以及需要收集哪些日志数据，有效降低了对于业务应用的日志数据处理量，节省了存储资源和计算资源。

技术领域

本公开涉及计算机技术领域，尤其涉及一种日志处理方法、装置、电子设备及存储介质。

背景技术

业务应用即业务对应的应用程序(Application，APP)，通常业务应用在运行过程中会产生大量的日志数据，这些日志数据对于满足相关业务的分析需求具有重要的意义。

相关技术中，主要通过日志代理(Agent)探针机制捕获业务应用输出的日志数据进行收集上报，然而这种处理日志数据的方式仅能实现对全量日志数据的收集上报，灵活性较差，导致对于业务应用的日志数据处理量过大，造成存储资源和计算资源的浪费。

发明内容

本公开提供一种日志处理方法、装置、电子设备及存储介质，以至少解决相关技术中对于业务应用的日志数据处理量大，存在存储资源和计算资源浪费的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种日志处理方法，包括：

获取目标业务应用的日志配置信息；所述日志配置信息包括日志收集配置信息，所述日志收集配置信息指示预设时间段内需要收集的目标日志数据的数量，所述目标日志数据为满足预设条件的日志数据；

根据所述日志收集配置信息收集所述目标业务应用产生的日志数据，得到收集的所述目标日志数据；

处理收集的所述目标日志数据。

在一个示例性的实施方式中，所述日志收集配置信息包括采样比例和目标维度的第一预设信息；

所述根据所述日志收集配置信息收集所述目标业务应用产生的日志数据，得到收集的所述目标日志数据，包括：

获取所述目标业务应用在所述预设时间段内产生的日志数据，得到第一日志数据集合；

从所述第一日志数据集合中选取与所述第一预设信息相匹配的日志数据，得到第一预设日志数据；所述第一日志数据集合中除所述第一预设日志数据之外的日志数据作为候选日志数据；

根据所述采样比例对所述候选日志数据进行采样，得到采样日志数据；

根据所述第一预设日志数据和所述采样日志数据，得到收集的所述目标日志数据。

在一个示例性的实施方式中，所述日志收集配置信息还包括所述目标维度的第二预设信息；

所述根据所述采样比例对所述候选日志数据进行采样，得到采样日志数据包括：

确定所述候选日志数据中与所述第二预设信息相匹配的第二预设候选日志数据；将除所述第二预设候选日志数据之外的候选日志数据作为目标候选日志数据；

根据所述采样比例对所述目标候选日志数据进行采样，得到采样日志数据。

在一个示例性的实施方式中，所述日志收集配置信息还包括存储队列标识；在所述得到收集的所述目标日志数据之后，所述方法还包括：

根据所述存储队列标识确定目标存储队列；

将收集的所述目标日志数据写入所述目标存储队列。