[发明专利]基于ELK采集日志数据方法和装置

权利要求书

1.一种基于ELK采集日志数据方法，其特征在于，所述方法包括：

根据当前业务，确定采集所述当前业务所产生日志数据的日志采集插件；

当所述日志采集插件为预设插件时，确定所述预设插件对应的主用消息队列的状态；

根据所述主用消息队列的状态，在所述主用消息队列和备用消息队列中，确定待使用的消息队列，所述主用消息队列和所述备用消息队列设置在不同的位置；

将所述预设插件采集的日志数据写入待使用的消息队列中；

通过采集管道，将所述消息队列中的日志数据写入搜索引擎，以使对搜索引擎中的日志数据进行分析处理。

2.根据权利要求1所述的方法，其特征在于，所述根据所述主消息队列的状态，在所述主用消息队列和所述备用消息队列中，确定待使用的消息队列，包括：

当所述主用消息队列的状态为不可用状态时，获取距当前时间点最近的写入失败时间点，所述写入失败时间点为当日志数据未成功写入所述主用消息队列时所记录的时间点；

判断所述写入失败时间点与当前时间点之差是否小于第一预设时长；

如果是，基于所述备用消息队列，确定待使用的消息队列；

如果否，将所述主用消息队列确定为待使用的消息队列。

3.根据权利要求2所述的方法，其特征在于，当将所述主用消息队列确定为待使用的消息队列时，所述将所述预设插件采集的日志数据写入待使用的消息队列中之后，所述方法还包括：

判断采集的日志数据是否成功写入所述主用消息队列；

如果是，将所述主用消息队列的状态修改为可用状态；

如果否，将采集的日志数据写入备用消息队列中。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

在将所述预设插件采集的日志数据发送给所述主用消息队列后，判断在第二预设时长内是否检测到ack消息，所述ack消息是当日志数据成功写入所述主用消息队列时，所述主用消息队列调用ack函数生成的；

如果否，则确定所述预设插件采集的日志数据未成功写入所述主用消息队列，并将当前时间点记录为写入失败时间点；

如果是，则确定所述预设插件采集的日志数据成功写入所述主用消息队列。

5.根据权利要求1所述的方法，其特征在于，

当所述预设插件为第一插件时，将设置在磁盘中的kafka消息队列确定为所述主用消息队列，将设置在内存中的redis消息队列确定为所述备用消息队列；

当所述预设插件为第二插件时，将设置在内存中的redis消息队列确定为所述主用消息队列，将设置在磁盘中的kafka消息队列确定为所述备用消息队列。

6.根据权利要求2所述的方法，其特征在于，当所述备用消息队列为多个时，所述基于所述备用消息队列，确定待使用的消息队列，包括：

对每个备用消息队列的状态进行判断，并在多个备用消息队列中选出状态为可用状态的备用消息队列；

在状态为可用状态的备用消息队列中，确定待使用的消息队列。

7.根据权利要求6所述的方法，其特征在于，所述在状态为可用状态的备用消息队列中，确定待使用的消息队列，包括：

在状态为可用状态的备用消息队列中，确定每个备用消息队列的优先级；

将优先级最高的备用消息队列确定为待使用的消息队列。