[发明专利]一种变点检测优化方法、系统及装置

说明书

本发明提出一种变点检测优化方法、系统及装置，解决了解决当前变点检测的传统方法无法兼顾变点检测速率与检测准确率的问题，首先设置两个检测窗口，通过移动窗口以获取相应的待测数据序列，并将两个窗口的数据分别记为不同的类别，然后计算两类数据的AUC估计值，从而获得AUC序列；利用动态规划法降低AUC计算的时间复杂度；利用指数移动加权平均法对AUC序列进行光滑化处理，以此减小特殊噪声信号的影响；并根据已设定好的阈值，探究突变情况下，AUC值超过阈值的数据点的经验分布，从而设定相应的K值，并将超过阈值的AUC数据点的数量小于K的变点进行筛除，提高变点检测的速率以及检测准确度。

技术领域

本发明涉及信号统计、数据处理的技术领域，更具体地，涉及一种变点检测优化方法、系统及装置。

背景技术

变点检测目前已经广泛应用于众多科学工程领域，其中包括网络安全、生物遗传学、气候模拟、金融数据分析等，例如，在对台风进行检测的过程中，科学家可以通过变点检测的方法对监测到的波动数据进行检测、分析检测数据的情况，以达到预测的目的，进而提前对气候灾难进行预防，减小自然灾害带来的经济损失。在工业生产方面，工作人员可以通过对产品波动进行变点检测，以对生产过程的异常情况进行警报，及时调整生产故障，从而保证产品的质量。

曲线下面积(Area Under the Curve，即AUC)是接收机工作特性曲线下面积，即Roc曲线与坐标轴形成的面积，常用于分析两类问题。根据AUC与统计学中的著名的曼-惠特尼U统计量(Mann-Whitney Ustatistic，即MWUS)等价关系，可以求出两类样本对应的AUC估计值，考虑到AUC统计量在二分类问题中存在特性优越的特性，因此，传统常利用曲线下面积，并通过阈值设定，以检测数据序列是否存在变点，但仅利用AUC及相应的判断阈值进行变点检测仍存在一定的不足，如：虚变点率高、检测速度缓慢等，AUC统计量的计算时间复杂度为平方量级，随着窗口尺寸或者待测数据序列量的增大，计算时间将会急剧增大。

2018年10月16日，中国发明专利(公开号：CN108664348A)中公开了一种基于CUDA的快速变点检测方法、装置及存储介质，考虑变点检测的实时性的问题，该专利通过GPU对待检测样本数据进行并行计算同时得到多个AUC估计值，缩短变点检测所需的时间，保证变点检测的实时性，但在待测数据序列量较大时，一般待检测的信号存在多种噪声信号，给检测带来很大的困难，进而会造成高虚警率等问题，因此该方法无法兼顾高准确率与高速度的要求。

发明内容

为解决当前变点检测的传统方法无法兼顾变点检测速率与检测准确率的问题，本发明提出一种变点检测优化方法、系统及装置，以提高变点检测的准确度，加快变点检测的速度。

为了达到上述技术效果，本发明的技术方案如下：

一种变点检测优化方法，所述方法至少包括：

S1.设置第一检测窗口与第二检测窗口的长度；

S2.滑动第一检测窗口与第二检测窗口，分别获取待测数据序列，所述第一检测窗口获取的数据定义为正类数据，第二检测窗口获取的数据定义为负类数据；

S3.利用动态规划法计算正类数据与负类数据的AUC统计量，获得AUC序列；

S4.利用指数加权移动平均法对AUC序列进行光滑处理；

S5.通过零假设实验，获得AUC密度分布图，设置置信度，再根据相应的置信度及累积分布图求取相应的阈值，以检测潜在突变点；

S6.设置K值，利用K值法进一步确认真实突变点，筛除虚假变点；

S7.输出待测数据序列的突变点个数及位置。