[发明专利]基于集成学习的无监督的网络数据入侵检测方法

说明书

本发明涉及一种基于集成学习的无监督的网络数据入侵检测方法，包括以下步骤：步骤S1：将采集的网络流数据处理为时间序列数据；步骤S2：将时间序列数据重构为单点型格式数据、上下文型格式数据和时间段型格式数据；步骤S3：训练入侵检测模型集合，入侵检测模型集合包括基于单点型格式数据的变分自编码器集合CNN‑VAE模型和/或基于上下文型格式数据的循环神经网络预测器TCN‑LSTM模型和/或基于时间段型格式数据的变分自编码器BILSTM‑VAE模型；步骤S4：获取误差数据；步骤S5：比较步骤S4获得的误差数据与预期误差之间的差距。本发明可以减少由于人工报文标记导致的昂贵成本，实现对网络数据进行入侵检测。

技术领域

本发明涉及网络数据入侵检测及异常识别技术领域，尤其是涉及基于集成学习的无监督的网络数据入侵检测方法。

背景技术

目前网络安全性变成了一个广泛的研究领域，对网络上恶意活动的检测是比较常见的问题之一，入侵检测系统（IDS）是作为各种网络威胁检测的最佳解决方案，可以用来检查特定环境下的活动，典型的入侵检测系统包括但不限于防火墙，访问控制列表，身份验证机制等等，早已经被广泛用于提高计算机系统的安全性。

根据检测技术上来说，一般而言，传统的IDS包括基于标志\签名（signature-based),基于异常情况（anomaly-based）和基于规范（Specification-based）的三种入侵检测系统。然而，这些传统的检测技术已无法处理现代化网络攻击日益动态和复杂的特性所产生的多变量数据流。因此，研究人员已经超越了规范或基于标志的技术，开始利用机器学习技术来利用系统生成的大量数据。随着对于智能化和自主性的需求提高，神经网络已经成为入侵检测系统的一种日益流行的解决方案。它们学习复杂模式和行为的能力使它们成为区分正常流量和网络攻击的合适解决方案。

主流的神经网络解决方案更倾向于有监督的方式训练，而这种方式已经能在入侵检测这一问题中展现出良好的异常识别能力。然而，除了自主性之外，IDS 的另一个重要属性是其检测零日攻击的能力，攻击随着时间的推移而变化，而新的攻击不断被发现，因此恶意攻击流量存储库的持续可维护性可能是不切实际的，这意味着专家必须对网络流量进行标注，并不时手动更新模型，这将需要专业的专家知识库进行支撑，且贴标签的过程既费时又昂贵，这对人工成本的要求过于巨大。此外，分类本身是一种识别概念的封闭方法，一个分类器被训练来识别训练集中提供的类，然而，假设所有可能的恶意流量都可以被收集并放置在训练数据中是不合理的。

发明内容

本发明要解决的技术问题是：提供基于集成学习的无监督的网络数据入侵检测方法，减少由于人工报文标记导致的昂贵成本，实现对网络数据进行入侵检测。

本发明解决上述技术问题所采用的技术方案是：一种基于集成学习的无监督的网络数据入侵检测方法，包括以下步骤：

步骤S1：数据预处理，将采集的网络流数据处理为时间序列数据；

步骤S2：时间序列数据分流，将步骤S1中的时间序列数据重构为三个不同的数据形式：单点型格式数据、上下文型格式数据和时间段型格式数据；

步骤S3：训练入侵检测模型集合，入侵检测模型集合包括基于单点型格式数据的变分自编码器集合CNN-VAE模型和/或基于上下文型格式数据的循环神经网络预测器TCN-LSTM模型和/或基于时间段型格式数据的变分自编码器BILSTM-VAE模型；

步骤S4：获取误差数据，对于新进入的性质未知的网络流数据通过步骤S1以及步骤S2进行时间序列数据分流后输入步骤S3训练形成的入侵检测模型集合使其形成误差数据；

步骤S5：新进入的网络流数据的特性判定，对于新进入的性质未知的网络流数据，比较步骤S4获得的误差数据与网络管理员给定的预期误差之间的差距，获得该网络流数据的特性判定结果。