[发明专利]一种基于密度的时序数据异常检测方法及装置

说明书

本发明提供一种基于密度的时序数据异常检测方法及装置，所述方法包括将待检测时序数据分成多段，每段为一个子序列；计算每个子序列对应的特征向量；基于预先获取的训练数据特征向量集，计算所述特征向量的局部异常因子，若所述局部异常因子大于预设阈值，则所述特征向量对应的子序列为异常数据。本发明提供的基于密度的时序数据异常检测方法及装置，首先进行数据分段，然后进行特征提取，最后根据基于密度的局部异常因子判断数据段是否为异常数据段；本发明不依赖于领域知识，通用性好，并且只根据数据本身的分布特点进行异常数据的检测，提高了检测结果的准确性。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于密度的时序数据异常检测方法及装置。

背景技术

在工业领域中，无时无刻不在产生新的数据，例如设备运行指标数据、物理量检测数据等。这些数据通常是每隔一段时间进行一次采集，采集的数据值可以和采集时间一一对应，我们称这样的数据为时序数据，即按时间顺序记录的数据列。随着信息技术的不断发展，数据在工业领域中的应用价值逐渐受到人们的重视，例如从时序数据中我们可以分析设备运行状态、气候变化趋势等。随着对数据利用的增多，数据质量问题逐渐受到人们的重视。数据质量问题即数据在其生命周期(产生、储存、加工、使用)中由于某些原因产生偏差，导致最终数据的不一致、不精确、不完整等问题。造成数据质量问题的原因很多，如数据源故障、人为失误、储存介质受损等，诸多的因素导致数据质量在生产生活中普遍存在。异常数据会对分析、挖掘等实际任务造成巨大影响，因此如何能够准确的检测出时序数据中的异常数据显得尤为重要。

现有技术中，针对时序数据的异常检测方法大多基于领域专家给定的规则，例如规定某一指标的正常范围，在正常范围中的数据判定为正常数据，不在正常范围中的数据判定为异常数据。

这样的方法灵活性及准确性都不能得到保障，如果范围规定过大，可能无法检测到所有异常数据，如果范围规定过小，可能有很多正常数据被检测为异常。并且，时序数据中的异常数据通常成段出现、同一指标数据分布通常相似，造成采用现有技术中的方法对异常数据进行检测的结果，不确定性较大，检测结果不准确。

发明内容

本发明的目的是提供一种基于密度的时序数据异常检测方法及装置，解决了现有技术中时序数据异常检测结果不准确的技术问题。

为了解决上述技术问题，一方面，本发明提供一种基于密度的时序数据异常检测方法，包括：

将待检测时序数据分成多段，每段为一个子序列；

计算每个子序列对应的特征向量；

基于预先获取的训练数据特征向量集，计算所述特征向量的局部异常因子，若判断获知所述局部异常因子大于预设阈值，则所述特征向量对应的子序列为异常数据。

进一步地，所述计算每个子序列对应的特征向量，具体为：

计算每个子序列的特征值，所述特征值包括每个子序列中所有数据点的数据值的平均值、标准差、最大值和最小值；

以所述特征值为向量元素构建每个子序列对应的特征向量。

进一步地，所述将待检测时序数据分成多个子序列，具体为：

计算所述待检测时序数据中每个数据点的速度，其中，当前数据点的速度为当前数据点和前一个数据点的数据值之差，与当前数据点和前一个数据点的时间戳之差的比值；

基于每个数据点的速度和预先获取的分段阈值，将所述待检测时序数据分成多个子序列。

进一步地，获取所述训练数据特征向量集的具体步骤如下：

将获取的样本时序数据分成多个样本子序列，所述样本时序数据中不包含异常数据；