[发明专利]用于检测实时序列中的异常的方法

说明书

用于检测实时序列中的异常的方法。通过首先确定多对正常时间序列数据之间的成对相似性的相似性矩阵来检测实时序列中的异常。将谱聚类过程应用于相似性矩阵，以将表示时间序列数据的维度的变量分割为互斥的组。针对每个组估计正常行为的模型。然后，针对实时序列数据，使用针对每个组的模型确定异常分数，并且将该异常分数与预定的阈值进行比较，以通报异常。

相关申请

此专利申请关于MERL-2729，在此共同申请并通过引用并入本文中。两个申请使用相似性矩阵应对处理数据，以形成图拉普拉斯矩阵(graph Laplacian)。

技术领域

本发明一般涉及时间序列数据的数据分析以检测数据中的异常，更具体地，涉及存储由非常大数量的传感器从大型工业机器或机器的整个安装获得的传感器数据的大型数据库。

背景技术

机器和设备的状况的自动化监视使用处理非常大的传感器数据流的方法，该传感器数据流包括通过以高速率对各种传感器进行采样获得的许多单独读数。数据获取、通信以及存储技术的迅速降低的成本使得以多元时间序列数据的形式积累大量的数据是经济上可行的，其中，时间序列的每个组分(变量)可以被视为指示正在被监视的系统的状态的观测向量的单独维度。

这种数据的主要用途之一是自动地检测可能意味着系统中存在故障的异常状况。这种故障可以包括松动的或破坏的组件、错误的操作顺序、异常的操作条件等等。在大多数情况下，为了确保安全、使材料的浪费最小化或执行维护以避免灾难性故障，立即发现这种异常状况是非常希望的。

发现异常的一种可能的方式是以描述当变量超出它的正常范围时的逻辑规则的形式明确地指定被认为是异常的状况。对于一些系统，这种方法是非常成功的，例如，当监视主动地调整一些参数(诸如，温度，压力，湿度等等)的过程，并且他们的正常范围是已知的时。

当这样的范围不可用时，可以通过数据驱动的方法获得正常的操作极限，其中，数据变量都是在正常条件下测得的，并且从该数据提取正常操作范围的描述符。这种描述符的示例是逻辑规则，或概率分布。例如，如果x表示来自监视系统的瞬时测量变量的向量，并且，f(x)是在x的域上的概率密度函数(其对应于值x与系统的正常操作对应的概率)，则可以连续地评价这个概率密度，并且，当f(x)小于预定的阈值τ时，可以用通报(signal)报警。

然后问题变成怎样确定概率密度函数f(x)的适当的估计，假定所观测的数据的数据库X＝[x₁,x₂,…,x_N]，其中，x_t是在时间t确定的观测列向量，t＝1,...,N。向量x_t包括M个变量，使得x_it是在时间t的第i个变量的值，i＝1,...,M。

存在用于从域中所获得的数据点的采样估计该域上的概率密度函数的许多方法。参数方法做出关于分布类型的明确的假设，并且然后估计分布的参数。例如，如果函数是高斯分布，则参数是分布的均值μ和协方差矩阵S。在这种情况下，

并且S＝(X-μ)(X-μ)^T/(N-1),

其中，T是转置运算符。

当变量的数目M非常大时，如对于许多工业系统来说是典型的，产生的估计可能是不精确的，并且不方便使用。它可能不是非常精确，因为正确的概率分布与高斯分布差异很大。该估计可能不方便使用，因为协方差矩阵S尽管对称，但是当M非常大时它可以包含M²的量级的数量，例如，数量以数千或数百万计。因此，在存储器中保持S实际上变得难以处理。此外，不能估计具有独立条目的全协方差矩阵S，除非读数的数目N大于数据向量M的维数，并且至少M+1个数据点在普通位置，也就是，线性无关。