[发明专利]物联网数据异常检测模型训练方法、异常检测方法和系统

说明书

本发明涉及数据检测技术领域，尤其涉及一种物联网数据异常检测模型训练方法、异常检测方法和系统，解决了现有各类技术在物联网异常数据检测时，存在的对高维数据存在检测效果不理想、增加数据处理负担、无法实现实时检测的问题。本发明提出的一种物联网数据异常检测模型训练方法，额外增加了一个用以保证循环一致性的第二识别网络，并采用近似梯度的方法迭代异常数据，以逐步排除异常成分。本发明在异常检测阶段，同时考虑重构误差与识别误差，并设计了用于评估数据异常程度的评价值计算函数，本发明训练的异常检测模型具有更好的F1得分，展现模型在精确度和召回率上显著超越了现有技术。

技术领域

本发明涉及数据检测技术领域，尤其涉及一种物联网数据异常检测模型训练方法、异常检测方法和系统。

背景技术

异常检测是一个在过去数年极其活跃的研究领域，各个领域出现了各种各样的异常检测方案，大致可分为统计类和深度学习类两个流派。传统的异常检测基于统计的方法包括distance-based方法，SVM-based方法和(PCA)-based方法。这些主流方法的瓶颈在处理高维度数据时暴露无遗，计算时间和准确度都远不如低维数据异常检测场景下的表现。

随着传感器技术的迅速发展，物联网应用被越来越多地应用到工业、农业、医疗、卫生等行业中。其中，将传感器节点散布在目标区域内，通过各种传感器节点采集目标区域内的环境参数（温度，湿度，CO2浓度等），可以实时监控散布区域的内部环境变化情况。为了能够及时准确地发现自然环境中的突发事件以及监测传感器网络的健康状况，提高物联网数据的可靠性，那么对传感器采集到的数据进行异常检测就显得尤为重要。

而在数据日益复杂高维的物联网应用场景中，基于深度学习的方案展现出了极大的优越性。近些年来，越来越多的深度学习方法出现在复杂的高维数据异常检测问题的解决方案中。这种方法的核心思想是首先自动学习普通数据的特征，接着通过比对这些特征来找出异常数据。在目前的深度学习模型中，对抗生成网络（GAN）的竞争力最强，在异常检测领域达到了众多一流的成果。

但是由于异常数据对学习效果不可忽视的影响，几乎所有这类方法都需要一个无污染的数据集用于训练，才能精确地学习到数据的真实分布或潜在特征。但是，从物联网平台收集到一个完全无污染的数据集比收集一批无异常图像要难得多：一方面，在极端环境下，物联网传感器上传异常数据的情况不可避免；另一方面，现在的技术无法做到考虑所有已知或未知的异常情况。

近十年，不少学者开始致力于处理污染训练数据的工作，比如Zhou等人提出在学习数据特征前过滤异常实例的Robust Deep Autoencoder(RDA),接着Najari等人通过投影策略提升了RDA的表现。但是，在现实的物联网应用中，异常检测过程应该与模型训练过程同时进行，即网络实时异常检测与学习。故上述异常检测方法并不适用于物联网的现实情况。终于，Du等人提出了用于侦测多元时间序列异常数据的FGANomaly方法。这种方法首先为每一个数据实例创建伪标签，接着在训练过程中过滤掉有着正伪标签的异常数据。但是，由于FGANomaly是为序列到序列场景设计的，其尚且还未适应与物联网数据大多数高维度异常检测情况。

发明内容

本发明提出了一种物联网数据异常检测模型训练方法，本发明获得的异常检测模型，解决了现有各类技术在物联网异常数据检测时，存在的对高维数据存在检测效果不理想、增加数据处理负担、无法实现实时检测的问题。

本发明采用以下技术方案：

一种物联网数据异常检测模型训练方法，包括以下步骤：

St1、获取连续时间段上采集的多个传感器检测数据样本作为历史数据X，X包含正常数据L和异常数据S，即X=L∪S；