[发明专利]基于ELK采集日志数据方法和装置

说明书

本申请提供了一种基于ELK采集日志数据方法和装置。所述方法包括：根据当前业务，确定采集所述当前业务所产生日志数据的日志采集插件；当所述日志采集插件为预设插件时，确定所述预设插件对应的主用消息队列的状态；根据所述主消息队列的状态，在所述主用消息队列和备用消息队列中，确定待使用的消息队列，所述主用消息队列和所述备用消息队列设置在不同的位置；将所述预设插件采集的日志数据写入待使用的消息队列中；通过采集管道，将消息队列中的日志数据写入搜索引擎，以使对搜索引擎中的日志数据进行分析处理。本申请可以避免消息队列不可用而影响采集端服务的性能或者导致采集端宕机的问题。

技术领域

本申请涉及数据采集技术领域，特别是涉及一种基于ELK采集日志数据方法和装置。

背景技术

随着信息技术的发展，对各种业务类型的日志数据进行采集处理变的越来越重要。在实际过程中，往往使用ELK完成日志数据的采集。其中，ELK是由Elasticsearch+Logstash+Kibana组合而成的技术简称，Elasticsearch是基于json开发和支持restful风格的搜索引擎，Logstash是具有搜集数据的采集通道，Kibana是灵活的可视化平台。其核心是通过采集管道，将分散在不同采集端的日志信息统一采集到搜索引擎中，并通过可视化平台进行可视化展示。在ELK实际使用过程中，当日志量过大且采集速度太快时，向搜索引擎写入的速度往往会超过搜索引擎的写入阈值，进而导致日志数据无法写入搜索引擎。

为了解决上述问题，可以先将采集端采集到的日志数据写入kafka消息队列中，再通过采集管道将kafka消息队列中的日志数据写入搜索引擎，来避免上述由于日志量过大且采集速度太快而导致无法写入搜索引擎的问题。

然而，当由于磁盘爆满而导致日志数据写入kafka消息队列失败时，会导致无法将日志数据写入kafka消息队列，进而造成采集到的日志数据堆积，影响采集端服务的性能或者导致采集端宕机。

发明内容

有鉴于此，本申请提供一种基于ELK采集日志数据方法和装置，可以避免消息队列不可用而影响采集端服务的性能或者导致采集端宕机的问题。

为达到上述目的，本申请主要提供如下技术方案：

第一方面，本申请提供了一种基于ELK采集日志数据方法，所述方法包括：

根据当前业务，确定采集所述当前业务所产生日志数据的日志采集插件；

当所述日志采集插件为预设插件时，确定所述预设插件对应的主用消息队列的状态；

根据所述主用消息队列的状态，在所述主用消息队列和备用消息队列中，确定待使用的消息队列，所述主用消息队列和所述备用消息队列设置在不同的位置；

将所述预设插件采集的日志数据写入待使用的消息队列中；

通过采集管道，将所述消息队列中的日志数据写入搜索引擎，以使对搜索引擎中的日志数据进行分析处理。

第二方面，本申请提供了一种基于ELK采集日志数据装置，所述装置包括：

第一确定单元，用于根据当前业务，确定采集所述当前业务所产生日志数据的日志采集插件；

第二确定单元，用于当所述第一确定单元确定的日志采集插件为预设插件时，确定所述预设插件对应的主用消息队列的状态；

第三确定单元，用于根据所述第二确定单元确定的主用消息队列的状态，在所述主用消息队列和备用消息队列中，确定待使用的消息队列，所述主用消息队列和所述备用消息队列设置在不同的位置；

第一写入单元，用于将所述预设插件采集的日志数据写入第三确定单元确定的待使用的消息队列中；