[发明专利]机器学习多维度多模型融合河道水质异常检测方法及装置在审
申请号: | 201910943586.8 | 申请日: | 2019-09-30 |
公开(公告)号: | CN110969556A | 公开(公告)日: | 2020-04-07 |
发明(设计)人: | 张鹏飞 | 申请(专利权)人: | 上海仪电(集团)有限公司中央研究院 |
主分类号: | G06Q50/26 | 分类号: | G06Q50/26 |
代理公司: | 上海容慧专利代理事务所(普通合伙) 31287 | 代理人: | 于晓菁 |
地址: | 200233 上*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 机器 学习 多维 模型 融合 河道 水质 异常 检测 方法 装置 | ||
1.一种机器学习多维度多模型融合河道水质异常检测方法,其特征在于,包括如下步骤:
S1.对数据进行维度拆分,进行缺失值检查和设备异常值检查;
S2.针对统计分布进行异常建模;
S3.针对各维度进行统计异常打分;
S4.针对各维度进行时序建模异常打分;
S5.针对每个维度统计与时序异常,形成融合判定;
S6.综合各维度融合判定,重复步骤S5直至形成数据点异常判定;
在上述步骤中,对于统计分布异常,首先假设正常的数据点会出现在随机模型发生概率高的区域,而如果一个数据点出现在了一个随机模型发生概率低的区域则认为是异常点。
2.如权利要求1所述机器学习多维度多模型融合河道水质异常检测方法,其特征在于,在步骤S2和步骤S3中,使用IForest、PCA、HBOS、KNN四种异常检测技术对河道水质监测数据进行统计分布的异常建模:进行多次抽样,并对四种算法进行单独建模,完成不同的异常打分操作;对四种算法模型进行结果碰撞,对每个时间点所有的异常打分进行叠加,当超过阈值时,这个时间点判定为异常点;形成一个由多模型叠加共同进行统计分布的异常检测算法。
3.如权利要求2所述机器学习多维度多模型融合河道水质异常检测方法,其特征在于,在步骤S2和步骤S3中:
IForest异常检测的步骤如下:
a.从训练数据中随机选择m个样本点作为subsample,放入树的根节点;
b.随机指定一个维度,在当前节点数据中随机产生一个切割点p,切割点产生于当前节点数据中指定维度的最大值和最小值之间;
c.以此切割点生成了一个超平面,将当前节点数据空间划分为2个子空间:把指定维度里小于p的数据放在当前节点的左孩子,把大于等于p的数据放在当前节点的右孩子;
d.在孩子节点中递归步骤b和c,不断构造新的孩子节点,直到孩子节点中只有一个数据或孩子节点已到达限定高度;
e.获得t个子树之后,对于一个训练数据x,令其遍历每一棵子树,然后计算x最终落在每棵树第几层,得出x在每棵树的高度平均值,即为APLt;
f.获得每个测试数据的APL后,设置一个阈值,APL低于此阈值的测试数据即为异常;
PCA异常检测的步骤如下:
a.对数据进行中心化和归一化处理;
b.进行PCA数据降维;
c.对于某一个特征向量ej,计算数据样本xi在该方向上的偏离程度dij,计算公式如下:
d.将样本在所有方向上的偏离程度加起来,得到一个综合的异常得分:
e.如果得分大于阈值则判断为异常;
HBOS异常检测的步骤如下:
a.对每个特征维度进行动态的区间划分,将所有的值进行排序,连续的N/k个值划分在一个组,其中N是总的样本个数,K是区间个数,每个区间段面积为1,宽度越高,则高度越低,高度代表密度;
b.高度标准化。每个区间的高度进行标准化,使得最大的高度为1;
c.计算各个样本点出现的概率,计算公式如下:
其中p表示数据点,histi(p)表示数据点p在第i个特征上其所在区间的高度,d表示特征的个数;
KNN异常检测的步骤如下:
a.对每一个数据点x,计算x与x的第K近的数据点的距离dk(x);
b.将所有的数据点按照dk(x)进行排序;
c.异常是那些有着最大的dk(x)的数据点,这些数据点有着更加稀疏的近邻;
d.将dk(x)排在前n的数据点认为是异常点。
4.如权利要求1所述机器学习多维度多模型融合河道水质异常检测方法,其特征在于,在步骤S4中,对时间序列数据进行模型建立:
y(t)=g(t)+s(t)+εt
其中,g(t)是趋势项,s(t)是周期项,εt是误差项并且服从正态分布,在对这几项进行分解及拟合之后,得到一个对于不同时间点的连续的置信区间,对于超出置信区间的所有时间点,模型判定为时间序列分布的异常值,并根据距离进行异常打分。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海仪电(集团)有限公司中央研究院,未经上海仪电(集团)有限公司中央研究院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910943586.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:基于BIM的金属风管产品生产管理系统
- 下一篇:用于现场设备的无线协议转换器