[发明专利]异常日志监控方法、装置、计算机设备及存储介质

说明书

本发明公开了异常日志监控方法、装置、计算机设备及存储介质，涉及云监控的异常监控，在通过任务订阅获取了清洗后应用日志数据集合后，若有清洗后应用日志数据与初始异常模式数据相同，获取对应的清洗后应用日志数据组成第一目标清洗后应用日志数据集合，将清洗后应用日志数据集合中日志数据通过K‑means聚类，得到对应的日志聚类结果；获取日志聚类结果中所包括的多个聚类簇中清洗后应用日志数据总条数为最小值的目标聚类簇，将目标聚类簇对应的清洗后应用日志数据组成第二目标清洗后应用日志数据集合。该方法实现了对海量日志数据中异常日志和疑似异常日志的有效监控和获取。

技术领域

本发明涉及云监控的异常监控技术领域，尤其涉及一种异常日志监控方法、装置、计算机设备及存储介质。

背景技术

数据共享交换平台作为常用的大数据平台，需提供库表、接口、文件等各类数据采集交换功能，负责打通多个接入该数据共享交换平台的业务服务器，避免数据在业务服务器中形成数据孤岛。

目前，常用的数据共享交换平台在业务高可用方面处理有以下特点：

a、数据采集交换作业主体基于传统的数据集成模式；

b、数据采集交换作业环节多、流程长、分支杂、海量数据、业务闭环难。

这就导致现有的数据共享交换平台中，若存在数据归集、共享交换作业等故障发生，难以快速定位获取异常日志，也无法基于数据共享交换平台中海量的日志数据获取疑似异常数据。

发明内容

本发明实施例提供了一种异常日志监控方法、装置、计算机设备及存储介质，旨在解决现有技术中数据共享交换平台若存在数据归集、共享交换作业等故障发生，难以快速定位获取异常日志，也无法基于数据共享交换平台中海量的日志数据获取疑似异常数据的问题。

第一方面，本发明实施例提供了一种异常日志监控方法，其包括：

通过Flume组件获取应用日志数据集合；

将所述应用日志数据集合中各条日志数据进行清洗，以得到清洗后应用日志数据集合，将所述清洗后应用日志数据集合存储至Kafka消息队列；

通过SparkStreaming任务订阅所述Kafka消息队列中的清洗后应用日志数据集合；

调用本地存储的初始异常模式数据集合及与所述初始异常模式数据集合对应的异常日志处理策略集合，获取所述初始异常模式数据集合中包括的各条初始异常模式数据；其中，所述初始异常模式数据集合中每一条初始异常模式数据对应异常日志处理策略集合中的其中一条异常日志处理策略；每一条异常日志处理策略用于对相应类型的初始异常模式数据进行故障自愈处理；

将所述清洗后应用日志数据集合中各条清洗后应用日志数据与各条初始异常模式数据进行比对，判断是否有清洗后应用日志数据与初始异常模式数据相同；

若有清洗后应用日志数据与初始异常模式数据相同，获取对应的清洗后应用日志数据组成第一目标清洗后应用日志数据集合，以发送至本地预先创建的异常库进行存储；

将清洗后应用日志数据集合中日志数据通过K-means聚类，得到对应的日志聚类结果；以及

获取所述日志聚类结果中所包括的多个聚类簇中清洗后应用日志数据总条数为最小值的目标聚类簇，将所述目标聚类簇对应的清洗后应用日志数据组成第二目标清洗后应用日志数据集合，以发送至本地预先创建的待选异常库进行存储。

第二方面，本发明实施例提供了一种异常日志监控装置，其包括：

应用日志数据集合获取单元，用于通过Flume组件获取应用日志数据集合；