[发明专利]一种无监督指标异常检测方法有效
| 申请号: | 202110394174.0 | 申请日: | 2021-04-13 |
| 公开(公告)号: | CN113064796B | 公开(公告)日: | 2022-08-12 |
| 发明(设计)人: | 李虎;曾毅峰;路进锋;吴霄林 | 申请(专利权)人: | 上海浦东发展银行股份有限公司 |
| 主分类号: | G06F11/30 | 分类号: | G06F11/30;G06N20/00 |
| 代理公司: | 上海科盛知识产权代理有限公司 31225 | 代理人: | 林君如 |
| 地址: | 200002 *** | 国省代码: | 上海;31 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 监督 指标 异常 检测 方法 | ||
1.一种无监督指标异常检测方法,其特征在于,该方法包括:
预先将指标突变异常进行分类;
根据指标突变异常的不同类别的性质,将对应的指标类型划分为不同类型;
获取待检测指标数据,对于一条指标及其历史数据,对其所属指标类型进行判断;
判断指标类型后,对指标数据进行预处理;
对指标逐点提取稳定性特征,并将其转变为平稳型指标,随后通过计算上、下阈值并与上、下阈值比较的方法来进行异常检测,当平稳型指标的实际值大于上阈值时,检测为突增异常,当平稳型指标的实际值小于下阈值时,检测为突降异常;
根据指标突变异常的不同类别的性质,将对应的指标类型划分为周期型指标、稳定型指标和长期波动大、短期波动小指标;
对指标数据进行预处理的具体内容为:
对指标数据进行标准化处理,对标准化后的数据利用邻近值的均值补全缺失值;对于周期型指标的预处理过程,还包括在补全缺失值后,采用滑窗内数据的均值替代原始数据以减小数据的波动性;
对指标数据进行预处理后,对周期型指标进行稳定性特征提取的具体内容为:
11)首先将同时刻不同周期的数据进行排序;
12)设定比率阈值q%,将排序后的数据截断其位于排序前侧q%和排序后侧q%的数据,将其余数据的均值作为此时刻的基本值并保留其方差;
13)将历史数据按时刻减去步骤12)中的基本值,并除以方差获取周期型指标的稳定性特征x`。
2.根据权利要求1所述的无监督指标异常检测方法,其特征在于,对其所属指标类型进行判断的具体内容为:
首先判断待检测指标数据是否为周期型数据,若不是,则在根据其长期和短期波动的大小判断其为稳定型指标还是长期波动大短期波动小的指标。
3.根据权利要求2所述的无监督指标异常检测方法,其特征在于,首先判断待检测指标数据是否为周期型数据的具体内容为:
计算待检测指标数据的历史数据相邻周期之间的SBD,取其平均值,若该平均值小于一个固定阈值,则判断待检测指标数据为周期型指标,反之则不是。
4.根据权利要求1所述的无监督指标异常检测方法,其特征在于,对周期型指标通过计算阈值进行异常检测的具体内容为:
通过周期型指标的历史数据提取平稳性特征数据,根据平稳型指标的异常检测方法获取上、下阈值;对获取的周期型指标的稳定性特征x`与上、下阈值进行判断,若x`的值大于上阈值,则报突增异常,若x`的值小于下阈值,则报突降异常。
5.根据权利要求1所述的无监督指标异常检测方法,其特征在于,对长期波动大、短期波动小指标通过计算阈值进行异常检测的具体内容为:
21)将长期波动大、短期波动小指标逐点进行窗口差分比处理,获取长期波动大,短期波动小指标的稳定性的特征;
22)根据平稳型指标的异常检测方法获取上、下阈值;
23)对获取长期波动大,短期波动小指标的稳定性的特征x`与上、下阈值进行判断,若x`大于上阈值,则报突增异常,若x`小于下阈值,则报突降异常。
6.根据权利要求5所述的无监督指标异常检测方法,其特征在于,根据平稳型指标的异常检测方法获取上、下阈的具体内容为:
确定指标数值的正常取值区间,若指标观测值不在正常取值区间时,则将指标视为异常;所述指标数值的正常取值区间利用机器学习算法KDE和统计学规律对指标的历史数据进行拟合获取。
7.根据权利要求6所述的无监督指标异常检测方法,其特征在于,所述指标数值的正常取值区间利用机器学习算法KDE和统计学规律对指标的历史数据进行拟合获取的具体内容为:
首先利用机器学习算法KDE和指标的历史数据拟合指标的概率分布P,训练得到指标的概率分布P后,设定一个概率阈值p,计算P(X>x_up)=p和P(X<x_down)=p,进而获取上阈值x_up和下阈值x_down,其中p为极小的异常概率阈值,X为随机变量,X符合正太分布Ν(μ,σ2)。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海浦东发展银行股份有限公司,未经上海浦东发展银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110394174.0/1.html,转载请声明来源钻瓜专利网。





