[发明专利]日志采集方法、装置、系统、介质及电子设备

说明书

本公开涉及一种日志采集方法、装置、系统、介质及电子设备。方法包括：响应于接收到日志采集指令，确定待采集日志的日志源以及日志源所在的区域；根据日志源所在的区域，从多个中间层节点中确定目标中间层节点；将日志采集指令发送至目标中间层节点，以由目标中间层节点从与其对应的多个边缘节点中确定用于从日志源上采集待采集日志的目标边缘节点。这样，各中间层节点可各自管理其所属区域内的边缘节点，减轻主节点的处理压力，有利于日志采集系统的扩展，实现系统的灵活性和可用性。另外，可就近选择与日志源所在的区域较近的目标边缘节点，提升日志采集效率，保证待采集日志能够及时被采集，并且有效减少了网络带宽消耗。

技术领域

本公开涉及日志处理技术领域，具体地，涉及一种日志采集方法、装置、系统、介质及电子设备。

背景技术

现阶段的日志采集系统通常采用主-从结构，即该系统包括主节点和与主节点对应连接的多个边缘节点。其中，主节点用于为每个用户分配一个用于采集日志的边缘节点，并在分配的边缘节点资源不足时，再为用户分配另一资源充足的边缘节点，同时，监测各边缘节点的健康状况；边缘节点用于采集与其对应的用户请求的日志，并对日志进行合并/拆分、统计、分析、多格式转换等操作，之后，将处理好的日志输出到输出目录，用户通过提供的接口到输出目录下载日志。随着业务的扩展，边缘节点会越来越多，主节点的管理压力将会越来越大，不利于日志采集系统的扩展。

发明内容

为了克服相关技术中存在的问题，本公开提供一种日志采集方法、装置、系统、介质及电子设备。

为了实现上述目的，第一方面，本公开提供一种日志采集方法，应用于日志采集系统中的主节点，所述日志采集系统包括所述主节点，与所述主节点对应的、各自位于不同区域的多个中间层节点，以及与每一所述中间层节点对应的、且位于对应的中间层节点所属区域内的多个边缘节点；

所述方法包括：

响应于接收到日志采集指令，确定所述日志采集指令所指示的待采集日志的日志源以及所述日志源所在的区域；

根据所述日志源所在的区域，从所述多个中间层节点中确定目标中间层节点；

将所述日志采集指令发送至所述目标中间层节点，以由所述目标中间层节点从与其对应的多个边缘节点中确定用于从所述日志源上采集所述待采集日志的目标边缘节点。

可选地，所述根据所述日志源所在的区域，从所述多个中间层节点中确定目标中间层节点，包括：

判断所述多个中间层节点中是否存在所属区域与所述日志源所在的区域相同的中间层节点；

若所述多个中间层节点中存在所属区域与所述日志源所在的区域相同的中间层节点，则判断第一候选节点是否满足第一预设条件，其中，所述第一候选节点为所属区域与所述日志源所在的区域相同的中间层节点，所述第一预设条件为其对应的多个边缘节点中存在满足预设的日志采集条件的边缘节点；

若所述第一候选节点满足所述第一预设条件，则将所述第一候选节点确定为所述目标中间层节点。

可选地，所述根据所述日志源所在的区域，从所述多个中间层节点中确定目标中间层节点，还包括：

若所述多个中间层节点中不存在所属区域与所述日志源所在的区域相同的中间层节点，或者所述第一候选节点不满足所述第一预设条件，则确定所述多个中间层节点中是否存在满足第二预设条件的中间层节点，其中，所述第二预设条件为所属区域与所述日志源所在的区域不同、且与所述日志源所在的区域之间的距离小于第一预设距离阈值；

若所述多个中间层节点中存在满足所述第二预设条件的中间层节点，则判断第二候选节点中是否存在满足所述第一预设条件的中间层节点，其中，所述第二候选节点为满足所述第二预设条件的中间层节点；