[发明专利]一种时间序列异常点检测方法及装置

说明书

本发明涉及数据处理技术领域，提供了一种时间序列异常点检测方法及装置，该方法包括：通过训练集训练时间序列的回归模型；根据训练得到的回归模型及输入的当前时刻前一段的时间序列预测当前时刻序列值，并根据预测得到的当前时刻序列值对观测得到的当前时刻序列值进行异常检测；根据异常检测的结果，在观测得到当前时刻序列值被认为是异常时，使用预测得到的当前时刻序列值替换观测得到的当前时刻序列值，并继续对时间序列的下一时刻进行异常点检测。本发明在时间序列点异常的检测任务中，采用回归预测的方法，利用预测值替换异常值，尽可能地降低预测的偏差，提高检测的准确率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种时间序列异常点检测方法及装置。

背景技术

时间序列是按时间先后顺序收集的数值型数据序列，它广泛存在于金融、工业、商业、医疗、气象等领域中。股票交易所中随时间变化的股票价格、工厂中各种传感器采集的数据、商店每个月的商品销售量、患者的心电图、某地区的降水量等数据都是时间序列。

传统的数据挖掘中，异常值可能会被当作噪声剔除掉，以免影响数据挖掘的结果。然而在某些情形中，异常值包含了重要的信息，挖掘和分析异常值，能得到很多有用的知识。如地震数据中，异常值可能是一次地震的前兆；工厂中传感器数据的异常，可能表示着系统中某个部分出现了故障，及时发现异常并对系统故障进行维修，减少损失；生产线中零件进行一系列加工步骤时的检测值构成时间序列，检测其中的异常，可以判断每个步骤是否合格、最终加工的零件是否合格，进而指导生产，提高合格率。因此，时间序列中的异常检测具有重要的研究意义。

目前，对于时间序列异常值检测的方法大致分为以下几种：

(1)采用统计模型，估计模型参数的预测方法；该方法假设时间序列具有平稳性，这种假设很强，大多数的时间序列都不符合这种假设；而且参数估计的过程也较为复杂。

(2)k-邻近方法；该方法难以定义时间序列中的“距离”概念，导致效果较差。

(3)滑动窗口统计值方法；该方法较为简单，通过滑动窗口内的统计信息，如平均数、中位数等，对下一个点做出预测，但是不适合变化幅度较大、有趋势或周期的数据。

(4)边界矩形方法；该方法以时间序列关键点进行分割，计算分割后矩形的信息，如长度、高度变化值等，判断此矩形是否异常。但是对点异常的检测效果不好。

(5)指数平滑方法；该方法利用之前的观测值进行加权计算，利用到了之前所有的数据。但是预测值有滞后性，无法及时反应出变化。

(6)回归预测方法。该方法是较为流行的策略，它使用已有数据产生预测值，与观测值比较，若相差大于阈值则为异常值。这种方法适用于周期性强、趋势变化不大的数据。

然而，在实际的分析中，会存在这种情况。在有变化趋势和周期性的数据中，观测到了连续的异常值，此时回归方法将通过计算异常值来产生预测值。异常值参与预测，会导致预测值出现更大的偏差，导致产生更多的误报。

发明内容

本发明要解决的技术问题在于，针对现有技术的方法中会有异常值参与预测进而导致预测偏差大的缺陷，提供了一种时间序列异常点检测方法及装置，可以利用替换策略，对预测为异常的值进行替换，替换为模型预测值，以尽可能地降低预测的偏差。

为了解决上述技术问题，本发明提供了时间序列异常点检测方法，包括：

1)通过训练集训练时间序列的回归模型；

2)根据训练得到的回归模型及输入的当前时刻前一段的时间序列预测当前时刻序列值，并根据预测得到的当前时刻序列值对观测得到的当前时刻序列值进行异常检测；