[发明专利]基于机器学习的业务监控方法及系统

说明书

技术领域

本发明涉及网络通信领域，更具体地说，本发明涉及一种基于机器学习的业务监控方法及系统，

背景技术

通常，业务日志会分散储存在不同的设备上，随着业务日志的海量增长，在上百台服务器上，如果还是用依次登陆每台机器的传统方法查阅日志和统计业务运行指标，效率非常低下，操作也很繁琐。

一般的业务监控手段通过脚本或批量安装代理(agent)制定大量的阀值检测业务的可用性，常见的有shell、nagios、zabbix，prometheus等监控方法。但是，这种方法只能通过预先设置的上下阀值，监控到服务器的性能异常和业务是否有错误信息，无法实时汇集海量的业务日志数据检测业务指标的波动率。

发明内容

本发明所要解决的技术问题是针对现有技术中存在上述缺陷，提供一种基于机器学习的业务监控实时检测方法及系统，其中提供一个样本集系统，通过训练机器学习算法模型，使用分布式搜索引擎日志收集工具对服务器的业务日志实时分析，并根据模型回归算法形成一套业务异常波动监控方案。

根据本发明，提供了一种基于机器学习的业务监控方法，包括：

第一步骤：收集服务器的实时日志，存储到分布式搜索引擎平台；

第二步骤：从分布式搜索引擎平台上的海量的日志数据流中读取数据，进行日志预处理，并实时检索分析业务的异常日志；

第三步骤：利用预处理好的的日志，提取特征，训练数据模型；

第四步骤：根据模型算法训练模块训练好的数据模型输出一个样本集，然后利用样本集进行算法回归判断，识别出业务监控异常的波动率并进行业务报警。

优选地，在第一步骤，通过日志收集工具实时监控、拉取服务器产生的业务日志，日志收集工具集中对日志进行传输，将日志以消息的形式传递给消息队列，消息队列再把数据写入到分布式搜索引擎平台进行储存。

优选地，在第二步骤，在分布式搜索引擎上过滤掉日志脏数据，根据业务特征进而提取出不同的业务日志进行归类，利用归类好的业务日志再分别检索，分析每个业务的异常日志结果。

优选地，在第三步骤，提取业务日志的时间序列数据，设置参数周期值，提取训练样本点，使用梯度提升算法回归预测值，根据原有的异常点数据值和预测值进行对比，取异常点数据值和预测值之间的差值，计算出差值平均值作为波动阀值。

优选地，在第四步骤，根据模型算法训练模块提供的预测波动阀值和模型算法训练模块计算出的波动范围，判断当前的波动率是否在预定的波动范围内。

根据本发明，还提供了一种基于机器学习的业务监控系统，包括：

日志收集模块，用于收集服务器的实时日志，存储到分布式搜索引擎平台，供日志预处理模块使用；

日志预处理模块，用于从分布式搜索引擎平台上的日志数据流中读取数据，进行日志预处理，并实时检索分析业务的异常日志；

模型算法训练模块，用于利用预处理好的的日志，提取特征，训练数据模型；

业务监控报警模块，用于根据模型算法训练模块训练好的数据模型输出一个样本集，然后利用样本集进行算法回归判断，识别出业务监控异常的波动率并进行业务报警。

优选地，日志收集模块通过日志收集工具实时监控、拉取服务器产生的业务日志，日志收集工具集中对日志进行传输，将日志以消息的形式传递给消息队列，消息队列再把数据写入到分布式搜索引擎平台进行储存。

优选地，日志预处理模块在分布式搜索引擎上过滤掉日志脏数据，根据业务特征进而提取出不同的业务日志进行归类，利用归类好的业务日志再分别检索，分析每个业务的异常日志结果。

优选地，模型算法训练模块提取业务日志的时间序列数据，设置参数周期值，提取训练样本点，使用梯度提升算法回归预测值，根据原有的异常点数据值和预测值进行对比，取异常点数据值和预测值之间的差值，计算出差值平均值作为波动阀值。

优选地，业务监控报警模块根据模型算法训练模块提供的预测波动阀值和模型算法训练模块计算出的波动范围，判断当前的波动率是否在预定的波动范围内。

附图说明

结合附图，并通过参考下面的详细描述，将会更容易地对本发明有更完整的理解并且更容易地理解其伴随的优点和特征，其中：

图1示意性地示出了根据本发明优选实施例的基于机器学习的业务监控方法的流程图。

图2示意性地示出了根据本发明优选实施例的基于机器学习的业务监控系统的功能框图。

图3示意性地示出了根据本发明优选实施例的基于机器学习的业务监控系统的日志收集模块的具体操作示例。