[发明专利]一种基于变分自编码器的网络异常入侵检测系统和方法

说明书

本发明涉及一种基于变分自编码器的网络异常入侵检测系统和方法，该系统包括采集器和处理器，采集器采集数据，处理器包括数据预处理模块、模型构建模块和模型训练模块；数据预处理将文本进行编码，输入最长文本串的填充，同时将数据集切分为训练集和测试集；模型构建模块构建变分自编码器；模型训练模块对模型进行优化训练。本发明是一种无监督的学习方法，可以利用深度网络的强大拟合能力的同时，无需大量的标注样本对。

技术领域

本发明属于网络监测领域，具体涉及一种基于变分自编码器的网络异常入侵检测系统和方法。

背景技术

网络异常入侵检测是将网络流量数据、相关日志数据、应用访问数据等进行相应的解析，监测用户异常行为，提高网络安全防范。分析数据量较大，通常采用机器学习的方法来进行辅助检测。

常用的机器学习方法在检测过程中，常分为无监督学习和有监督学习两类方法。由于有监督的学习方法，需要对样本进行标注，网络流量数据等数据量巨大，数据质量层次不齐，如何采用无监督的学习方法进行网络异常入侵检测是值得研究的。

发明内容

为了解决上述问题，本发明提出一种基于变分自编码器的网络异常入侵检测系统和方法，是一种无监督的学习方法。变分自编码器是一类生成模型，可以利用深度网络的强大拟合能力的同时，无需大量的标注样本对。

本发明的技术方案具体如下：

一种基于变分自编码器的网络异常入侵检测系统，包括采集器和处理器，采集器采集数据，处理器包括数据预处理模块、模型构建模块和模型训练模块；

数据预处理将文本进行编码，输入最长文本串的填充，同时将数据集切分为训练集和测试集；

模型构建模块构建变分自编码器，变分自编码器同时引入隐层变量z，将确定性的自编码器改造为概率图模型，其中，隐层变量z满足条件分布：

其中f_d表示解码器；采用高斯分布来逼近真实后验分布，变分分布为：

其中f_e表示编码器，u代表均值，σ代表方差,z代表隐层变量，q(z|x,φ)代表变分分布；

根据变分自编码器的概率图模型，得到目标损失函数：

其中，q_w代表变分近似分布，∈代表着隐层引入的高斯分布，第一项代表条件分布p_θ(x|z)的期望，第二项代表变分分布q_w与隐变量z的分布p(z)之间的差异；

模型训练模块对模型进行优化训练。

进一步地，模型训练具体是针对损失函数进行优化，使用梯度下降算法求解目标损失函数的最优值。

进一步地，使用梯度下降算法求解目标损失函数的最优值的过程如下：

在假定p_θ(x|z)为高斯分布的情况下，条件期望就化为二次函数：

f_e表示编码器，θ为参数；

在假定p(z)为高斯分布的情况下，散度有解析式如下：

σ为方差，u为均值；得到：

本发明还涉及的一种基于变分自编码器的网络异常入侵检测方法，包括如下内容：

将文本进行编码，输入最长文本串的填充，将数据集切分为训练集和测试集；