[发明专利]多维时空数据的多层次异常检测方法

说明书

本发明涉及多维时空数据的多层次异常检测方法，包括：A.具有传感数据层、下沉层和网关层；B.通过事先测量的历史事件异常数据得到相关属性集合和关联属性数据的关联数据矩阵M，以及相关系数矩阵R；C.在传感数据层上根据同一传感器相邻数据的波动差值判断该传感器在该周期内采集的数据是否异常，并将结果传到下沉层的对应节点；D.下沉层通过每个节点的检测结果中异常数据所占比例对该节点的数据进行是否异常的标识；E.网关层根据下沉层的异常检测结果提取出异常属性集合。本发明的计算过程简单，通过计算数据的波动在时间上能够快速发现异常事件，再对数据的属性进行相关性检测，有效提高了异常数据的检出准确性。

技术领域

本发明涉及数据挖掘和异常数据分析，具体的讲是多维时空数据的多层次异常检测方法。

背景技术

传感器是常用于对环境状态属性数据感知的设备，其具有价格低廉、体积小、无需人工维护等特点。使用者在环境中部署传感器网络来达到监控环境的各种状态的目的。而通常检测的环境不是一直处于静止状态，是存在变化的，环境的变化最终会体现在传感器感知的数值的变化上。但是对于传感器来说，传感器读数的变化通常有两方面的原因所致：

(1)环境中发生了某些事情引起了环境数值变化。环境属性的数值变化会因为在环境中发生了不同事件，如火灾引起温度升高，降雨影响检测环境的湿度等。事件变化从而引起属性数值偏离了正常范围，是由于发生了事件导致的异常数据。这些是属性环境的正常变化，传感器采集是具有意义的正确数据。

(2)传感器受到各种干扰引起数值变化。具体来说有两方面原因：一方面是外界原因，一般来说所有的传感器都是直接部署的实际的物理环境当中，由于实际物理环境的复杂多变，容易受到外界的直接干扰，如噪音干扰，粉尘干扰；还有来自人为的故意干扰，这样就会造成传感器采集的数据有一定的错误；另一方面是自身原因，由于传感器具有一定的寿命，随着使用时间的增加，或不断经受外界的风吹日晒雨淋，传感器采集数据的精度以及采集数据的准确性都会有不同程度的减少。这样传感器采集的数据有一部分是错误数据。这类数据是没有用的，不能代表环境的状态。

对数据进行异常检测，区分出正确数据，事件异常数据和错误数据是非常重要的。目前传感器的数据异常检测可以分为基于欧式距离的异常检测和基于数据时空属性的检测两大类，它们在应用在多维相关性数据的异常检测上都有一定的不足性。其中：

(1)基于欧式距离的异常检测

其主要的思想就是利用大数据聚类的方法对采集的数据进行类的划分，根据每一个类划分数据的多少，然后找出离群点。判断一条采集的数据是属于哪一个类，依据就是这一条数据离类中心点的欧式距离的大小，离哪一个类的距离最少，就会把这条采集的数据划到那一个类。采用的是欧式距离，没有考虑当收集的是多维数据时，数据之间的关联性。

在实际情况中，一个系统对环境的检测会从多个方面采集数据，如温度、湿度、光照强度、大气压等。一条完整的数据会包含多个方面的信息，数据之间会有一定的关联性，如温度的高低就会对气体压强大小产生影响。例如在对温室大棚的监控中，会收集大棚里面的温度数据和压强数据，根据物理学的PV＝nRT，在体积一定的情况下，气体压强和温度成正比。假设在一个系统中部署了大量的温度传感器和压强传感器，采集了一系列的温度和压强的数据集T,P：26,110.5，26,110.6，26,110.4，26,110.3，24,110.4，同时假设已经选取了中心点25.100。根据欧式距离的计算公式可以算出每一条数据的距离中心点的距离，它们距离中心点的欧式距离分别为：111.25，112.36，109.16，107.09，109.16。可以看出距离相差不大，因此这些数据会划分为同一类。但是可以看出数据24,110.4明显和其他数据对不相同，因为当气压在110左右时，根据规律温度的数值应该是26，因此这个数据应该是干扰产生的异常数据，是一个错误的数据，但是通过欧式距离的离群点检测没有检测出来。

(2)基于数据时空属性的检测