[发明专利]一种半监督时间序列异常检测方法及系统

说明书

本发明涉及一种半监督时间序列异常检测方法及系统，构建基于长短期记忆网络的自编码器模型，自编码器模型包括一个编码器、一个正常流量数据解码器和一个异常流量数据解码器，在流量的时间序列数据集中选取正常标记流量数据集和未标记流量数据集，利用两个训练集对自编码器模型进行训练，不需要提前预定义一个阈值，对于未标记数据，通过比较经过两个解码器的重构误差的大小即可判断是否异常。本发明避免了最佳阈值选择的困难，并能准确进行异常检测，还采用滑动窗口对未标记流量数据集进行异常流量数据的富集化处理，解决了异常点稀少的问题，丰富了异常数据，进一步提高了异常检测率。

技术领域

本发明涉及异常检测技术领域，特别是涉及一种半监督时间序列异常检测方法及系统。

背景技术

随着科技时代的发展，数据量呈爆炸式增长，在这些数据中，时间序列类型的数据的占比非常大。其中，时间序列类型的数据最常见的就是网络流量，它是指访问在线网站的人进行发送和接收的数据量，网络流量异常表示时间序列流量的异常变化，其中存在的异常数据可能会造成严重后果，快速准确地进行检测对于复杂计算机网络系统的高效运行至关重要。

目前，传统的方法存在着一定的缺陷，例如基于规则处理的方法，这种方法第一步是要获取规则，第二步是判断行为是否和异常规则相似，但是它受限于专家知识，规则库可能不完善，并且规则库需要经常更新，否则无法发现新的异常种类；基于统计学的方法是需要假设数据服从某种分布，然后利用数据去进行参数估计，但是它对假设依赖比较严重；近些年，机器学习相关算法表现出强大的表示能力，但由于数据缺标签，同时异常数据缺少的原因，大多数无监督和有监督的传统算法进行异常检测产生效果不佳的问题。

近些年，自编码器在时间序列的研究领域有广泛的应用，它是一种利用反向传播算法使得输出值等于输入值的神经网络，先将输入压缩成潜在空间表征，然后通过这种表征来解压重构输出，其中数据的压缩和解压缩函数是数据相关的、有损的、从样本中自动学习的。一般可以通过将重构的样本与原始样本做运算得到重构误差，再将重构误差与预先定义的阈值进行比较，从而判断该样本是否为异常样本，但最佳阈值很难选定。

发明内容

本发明的目的是提供一种半监督时间序列异常检测方法及系统，以在不需要选定最佳阈值的同时提高异常检测的准确性。

为实现上述目的，本发明提供了如下方案：

一种半监督时间序列异常检测方法，所述方法包括：

获取网站服务器监测的流量的时间序列数据集；所述流量的时间序列数据集包括标记的正常流量数据、标记的异常流量数据、未标记的正常流量数据和未标记的异常流量数据；

在所述流量的时间序列数据集中选取正常标记流量数据集和未标记流量数据集；所述正常标记流量数据集由标记的正常流量数据组成；所述未标记流量数据集包括未标记的正常流量数据和未标记的异常流量数据；

构建基于长短期记忆网络的自编码器模型；所述自编码器模型包括一个编码器、一个正常流量数据解码器和一个异常流量数据解码器；

利用所述正常标记流量数据集和所述未标记流量数据集对所述自编码器模型进行训练，获得训练好的自编码器模型；

从网站服务器获取待检测的流量数据；

将待检测的流量数据输入所述训练好的自编码器模型，若所述待检测的流量数据经过正常流量数据解码器的重构误差小于经过异常流量数据解码器的重构误差，则将所述待检测的流量数据标记为正常流量数据；若所述待检测的流量数据经过正常流量数据解码器的重构误差大于经过异常流量数据解码器的重构误差，则将所述待检测的流量数据标记为异常流量数据。

进一步地，所述正常标记流量数据集和所述未标记流量数据集包含的数据的数量相同。

进一步地，在所述流量的时间序列数据集中选取正常标记流量数据集和未标记流量数据集，之后还包括：