[发明专利]一种基于时间序列数据的异常点检测方法及装置

说明书

本发明适用于计算机技术领域，提供了一种基于时间序列数据的异常点检测方法及装置，其中，所述方法包括：获取时间序列的待测试窗口数据，对所述待测试窗口数据进行升序排列，得到待测试窗口数据的升序数组；设定所述待测试窗口数据的异常点比例和松弛参数；获取所述升序数组的所有正常点，得到正常点子集；计算所述待测试窗口数据的上界值和下界值；基于所述上界值和所述下界值，确定所述待测试窗口数据中的异常点。本发明通过设定待测试窗口数据的异常点比例和松弛参数，计算出上界值和下界值，检测出异常点，从而解决了异常点为不完全离群数据所导致的算法识别准确度不高的问题。

技术领域

本发明属于计算机技术领域，具尤其涉及一种基于时间序列数据的异常点检测方法及装置。

背景技术

在产业互联网或物联网场景下，物联数据的正确接入是十分具有挑战性的一项工作。我们将物联设备的数据称为测点数据，测点数据是一个时间序列数据。通常，测点数据有两种类型。第一种是累计值，如电表数据；第二种是瞬时值，如压强、流速等数据。时间序列的异常点检测有一些现成的技术，例如python包adtk，adtk可以针对一些特定模式的异常点，进行检测。但是，如果把所有测点看作一个总体，可以发现某种特定模式的异常点其实是有一定概率是正常数据的。从算法的角度而言，算法可以识别离群点，而异常值是一个有业务含义的概念，如果完全用无监督学习的方式，很难定义异常点与正常点的分界。在实践中，我们发现一类异常点是一个特别大的正数或一个特别小的负数，而这些数又不会完全离群，如正常0-1000范围的数据中混入了一定比例的2.3E23或-3.5E-10，用算法很难直接识别出这些异常点。

发明内容

有鉴于此，本发明提供了一种基于时间序列数据的异常点检测方法及装置，以解决现有技术中异常点为特别大的正数或特别小的负数所导致的算法识别准确度不高的问题。

本发明实施例的第一方面，提供了一种基于时间序列数据的异常点检测方法，包括：

获取时间序列的待测试窗口数据，对所述待测试窗口数据进行升序排列，得到待测试窗口数据的升序数组；

设定所述待测试窗口数据的异常点比例和松弛参数；

基于所述异常点比例，获取所述升序数组的所有正常点，得到正常点子集；

基于所述正常点子集和所述松弛参数，计算所述待测试窗口数据的上界值和下界值；

基于所述上界值和所述下界值，确定所述待测试窗口数据中的异常点。

在一些实施例中，基于所述正常点子集和所述松弛参数，计算所述待测试窗口数据的上界值和下界值之后，还包括：

判断所述上界值和下界值是否满足预设条件；

若否，则返回步骤设定所述待测试窗口数据的异常点比例和松弛参数。

在一些实施例中，基于所述异常点比例，获取所述升序数组的所有正常点，得到正常点子集，具体包括：

基于所述异常点比例，计算升序数组的正常点最小值所对应的下标；

基于所述最小值所对应的下标，获取所述升序数组的所有正常点，得到正常点子集。

在一些实施例中，升序数组正常点最小值所对应的下标的计算公式为：

其中，X表示升序数组，i为升序数组中正常点最小值所对应的下标，len(X)表示升序数组的长度，X的下标从0到len(X)-1，X[i]表示升序数组的第i+1个数，X[len(X)-1-out+i]表示升序数组第len(X)-out+i个数，out为异常点个数，out＝len(X)*a，a为异常点比例。

在一些实施例中，基于所述正常点子集和所述松弛参数，计算所述待测试窗口数据的上界值和下界值，具体包括：