[发明专利]异常日志采集方法、装置、设备、介质和产品

说明书

本公开提供了一种异常日志采集方法，可以应用于系统监控领域。该异常日志采集方法包括：生成配置文件，所述生成配置文件包括对消息的生产者进行配置，所述消息的生产者包括日志采集器与日志输出器；根据配置文件采集并输出系统的运行日志，筛选出异常日志并写入消息中间件；拉取所述消息中间件中的异常日志以供消息的消费者监听是否触发预设条件，其中，所述预设条件包括同一异常事件对应输出的异常日志个数达到预设阈值；当触发预设条件时过滤所述异常日志以减少同一异常事件对应输出的异常日志个数，并将过滤后的异常日志写入存储介质。本公开还提供了一种异常日志采集装置、设备、存储介质和程序产品。

技术领域

本公开涉及数据的传输及处理领域，具体涉及系统监控领域，更具体地涉及一种异常日志采集方法、装置、设备、介质和程序产品。

背景技术

系统运行时异常日志监控是十分必要的，并且在出现异常事件时需及时告知相应的运维或开发人员。时下流行开源的ELK+ZABBIX框架，可以做异常日志收集分析，可视化及异常告警，但是框架涉及多个组件服务的部署，对于中小型单体或分布式系统来说是一种额外的部署及维护成本。

因此，如何在中小型系统中进行异常日志采集是本领域技术人员亟待解决的问题。

发明内容

鉴于上述问题，本公开提供了一种异常日志采集方法、装置、设备、介质和程序产品。

根据本公开的第一个方面，提供了一种异常日志采集方法，包括：生成配置文件，所述生成配置文件包括对消息的生产者进行配置，所述消息的生产者包括日志采集器与日志输出器；根据配置文件采集并输出系统的运行日志，筛选出异常日志并写入消息中间件；拉取所述消息中间件中的异常日志以供消息的消费者监听是否触发预设条件，其中，所述预设条件包括同一异常事件对应输出的异常日志个数达到预设阈值；当触发预设条件时过滤所述异常日志以减少同一异常事件对应输出的异常日志个数，并将过滤后的异常日志写入存储介质。

根据本公开的实施例，所述对消息的生产者进行配置，包括：配置所述日志采集器以明确异常日志输出的相关信息；配置所述日志输出器以明确异常日志输出的目的地。

根据本公开的实施例，所述根据配置文件采集并输出系统的运行日志，筛选出异常日志并写入消息中间件，包括：根据所述日志采集器采集所述运行日志，基于输出等级筛选运行日志中的异常日志；以及通过所述日志输出器输出至对应的所述消息中间件。

根据本公开的实施例，所述拉取所述消息中间件中的异常日志以供消息的消费者监听是否触发预设条件，包括：提取每个异常日志中的分类标识，根据所述分类标识对所述异常日志进行分类处理以确定同一异常事件；判断在规定时间内的同一异常事件出现的次数是否达到预设阈值；若是，则对于同一异常事件仅保留预设个数的所述异常日志；其中，所述预设个数小于所述预设阈值。

根据本公开的实施例，所述根据所述分类标识对所述异常日志进行分类处理以确定同一异常事件，包括：将同一所述分类标识进行格式转换为唯一Key值；将所述Key值对应的异常数据作为Value值，建立Key-Value关系。

根据本公开的实施例，所述日志采集器包括：日志采集器名称、具体类、系统标识、异常发生时间戳、异常摘要和异常详细堆栈中的至少一种；所述日志输出器包括：日志输出器名称、系统标识和目的端口中的至少一种。

根据本公开的实施例，所述分类标识包括：系统标识、具体类、异常摘要。