[发明专利]一种面向供水管网分区计量系统日志信息的故障预测方法

说明书

本发明属于数据管理技术领域，具体涉及一种面向供水管网分区计量系统日志信息的故障预测方法，包括下列步骤：对供水管网分区计量系统日志数据进行清洗，提取清洗后的所述日志数据；对供水管网分区计量系统日志数据特征提取，同时进行特征筛选；对样本集数据进行预测分类；对预测模型的性能进行评估。本发明数据筛选方式和日志数据特性建立故障预测模型，无论是对系统整体预测还是具体容器的故障预测，均有着不错的表现，基于SVM算法构建的故障预测模型其预测准确性、系统容错性、稳定性均优于其他算法模型。本发明用于对供水管网分区计量系统日志信息的故障预测。

技术领域

本发明属于数据管理技术领域，具体涉及一种面向供水管网分区计量系统日志信息的故障预测方法。

背景技术

在供水管网分区计量系统微服务运行过程中会产生INFO,WARN,ERROR,FATAL四种级别日志。其中FATAL表示系统已经出现严重故障且难以自愈，如果不加人为控制任由其继续运行则会产生无法估量的后果，

故障预测是通过分析当前供水管网分区计量系统的状态，从而判断未来一段时间内系统是否产生故障，并有效地防止因系统故障带来的影响。根据其分析对象的变化，故障预测在实际应用中主要分为两类：基于供水管网分区计量系统的历史故障数据进行预测和基于当前计量系统运行参数进行预测。北京邮电大学的徐康明对微服务架构的服务发现和服务可靠性的研究，提出了改进的基于风险的差错恢复方案，用于在大量故障发生之前将风险服务进行移除，从而避免连续故障的发生。在微服务系统的故障预测方面的研究，国内外在基于系统日志进行微服务故障预测领域则少有涉足。

发明内容

针对上述的技术问题，本发明提供了一种预测准确性高、系统容错性高、稳定性强的面向供水管网分区计量系统日志信息的故障预测方法。

为了解决上述技术问题，本发明采用的技术方案为：

一种面向供水管网分区计量系统日志信息的故障预测方法，包括下列步骤：

S1、对供水管网分区计量系统日志数据进行清洗，提取清洗后的所述日志数据，所述日志数据日志数据包括INFO、WARN、ERROR、FATAL四种级别日志；

S2、对供水管网分区计量系统日志数据特征提取，同时进行特征筛选；

S3、通过基于SVM网络模型对提取到的数据特征空间进行划分，同时采用SVM模型网络结构对其进行十折交叉训练，训练得到合适的w和b满足最大间隔划分超平面，从而实现对样本集数据进行预测分类；

S4、对预测模型的性能进行评估。

所述S1中对供水管网分区计量系统日志数据进行清洗的方法为：包括下列步骤：

S11、删除INFO级别日志；

S12、通过比对派生故障与Root故障之间的联系，将日志数据集中派生日志记录进行删除，进一步降低数据噪声干扰。

所述S2中，所述特征包括如下五类：

第一种特征类型：将最近时间段中每个容器包含的不同故障级别的日志事件数量和每个容器中不同请求动作的日志事件数量作为特征项；

第二种特征类型：将观察时间段中每个容器包含的不同故障级别的日志事件数量和每个容器中不同请求动作的日志事件数量作为特征项；

第三种特征类型：将样本时间间隔(ε)中每个容器包含的不同故障级别的日志事件数量和每个容器中不同请求动作的日志事件数量作为特征项；

第四种特征类型：观察时间段内的具体容器日志记录以及互异日志故障级别事件信息的统计分布；

第五种特征类型：时间属性也是影响具体容器故障的重要因素，所以将时间作为一项特征，记为Time。