[发明专利]机器学习多维度多模型融合河道水质异常检测方法及装置

说明书

本发明公开了一种机器学习多维度多模型融合河道水质异常检测方法及装置，本发明能够根据数据的累积自动更新模型；能够根据不同河道单独建立模型，模型覆盖所有检测维度的联合分布，多变量之间有关联关系的情况下，可以发现关联关系的变化，能够发现相对历史关联规律之外的异常；能够自动识别河道多种常见指标关联分布模式，以及各指标随时间的变化序列模式，在多个正常模式之外的检测结果才被认为是异常点，单一变量随时间变化的规律异常距离；采用多次抽样，形成多模型叠加共同判定的算法，提高算法的稳定性，减少误判漏判。

技术领域

本发明属于水质异常检测技术领域，具体涉及一种机器学习多维度多模型融合河道水质异常检测方法及装置。

背景技术

在我国地表水资源短缺等问题日益突出的今天，“河长制”成为促进水资源可持续利用和推动社会经济发展与水环境承载能力相协调的有力制度。在河道水质检测体系中，在不同流域、不同河段的检测数据则成为了河长制管理体系的重要信息来源和决策支撑，然而当前的河道水质检测原始数据具有项目多、专业度高、难关联等特点，需要对数据进行进一步的挖掘和关联分析，得到更加方便河长制管理和决策的分析结果。特别地，在河长制的河道水质检测与污染情况分析中，河道检测指标的异常变化跟踪与发现是一个非常重要的问题。在河道水质检测过程中，水质指标随季节、气温等具有相应的周期性变化，因此有些场景(如夜间偷排等)中水质的个别指标变化并不能引起告警阈值的触发，因此无论从系统的运维角度，还是从河长监管河道状况的角度，都有需求根据多维度检测指标的历史数据分布和规律，检测数据中的异常点。

发明内容

有鉴于此，本发明的目的是提供一种机器学习多维度多模型融合河道水质异常检测方法及装置，以解决现有技术中的不足。

为了达到上述目的，本发明的目的是通过下述技术方案实现的：

一方面，提供一种机器学习多维度多模型融合河道水质异常检测方法，其中，包括如下步骤：

S1.对数据进行维度拆分，进行缺失值检查和设备异常值检查；

S2.针对统计分布进行异常建模；

S3.针对各维度进行统计异常打分；

S4.针对各维度进行时序建模异常打分；

S5.针对每个维度统计与时序异常，形成融合判定；

S6.综合各维度融合判定，重复步骤S5直至形成数据点异常判定；

在上述步骤中，对于统计分布异常，首先假设正常的数据点会出现在随机模型发生概率高的区域，而如果一个数据点出现在了一个随机模型发生概率低的区域则认为是异常点。

上述机器学习多维度多模型融合河道水质异常检测方法，其中，在步骤S2和步骤S3中，使用IForest、PCA、HBOS、KNN四种异常检测技术对河道水质监测数据进行统计分布的异常建模：进行多次抽样，并对四种算法进行单独建模，完成不同的异常打分操作；对四种算法模型进行结果碰撞，对每个时间点所有的异常打分进行叠加，当超过阈值时，这个时间点判定为异常点；形成一个由多模型叠加共同进行统计分布的异常检测算法。

上述机器学习多维度多模型融合河道水质异常检测方法，其中，在步骤S2和步骤S3中：

IForest异常检测的步骤如下：

a.从训练数据中随机选择m个样本点作为subsample，放入树的根节点；

b.随机指定一个维度，在当前节点数据中随机产生一个切割点p，切割点产生于当前节点数据中指定维度的最大值和最小值之间；

c.以此切割点生成了一个超平面，将当前节点数据空间划分为2个子空间：把指定维度里小于p的数据放在当前节点的左孩子，把大于等于p 的数据放在当前节点的右孩子；