[发明专利]基于对抗生成DQN的网络加密流量威胁样本生成机制方法

说明书

本发明公开了基于对抗生成DQN的网络加密流量威胁样本生成机制方法，通过数据预处理，将原始网络加密流量数据包中的数据转换为对抗生成DQN威胁样本生成模型所需数据格式；将所得的数据输入到类别标注处理程序中进行类别标注；对网络加密流量威胁样本生成方法，将其分解为一系列模块，最后一步为输出生成的网络加密流量威胁样本数据；其中改进样本生成模块根据初始候选环境所相关的信息选择相应的下一步行动，然后再根据行动选择下一个和原始的网络加密流量数据相近的候选环境，将行动经验存入经验空间进行神经网络的训练学习，重复以上步骤直到改进样本生成模块能产生和原始的网络加密流量数据相似的网络加密流量威胁样本数据。

技术领域

本发明涉及网络安全技术等领域，具体的说，是基于对抗生成DQN的网络加密流量威胁样本生成机制方法。

背景技术

随着互联网技术的不断发展和应用需求的增长，许多互联网应用在数据传输过程中都选择对网络通信流量进行加密，经过这些加密方法后，网络流量数据包中的许多明文信息变得不再可见，传统的网络流量识别方法准确率不再如从前，加密方法的不断改进和发展，给网络流量识别方法带来了巨大的挑战，深度学习由于其较强的学习能力和广泛的适用性很快应用到了网络流量识别领域。

多层感知机是一种神经网络，由输入层、输出层和若干隐层神经元组成，每一层都有几个密集连接到相邻层的神经元，模型的网络结构如图1所示。神经元获取其输入数据的加权和，并通过非线性激活函数产生输出。由于多层感知机模型需要学习大量参数，该模型通常非常复杂、效率低下，并且难以针对复杂问题进行训练。目前网络流量识别领域已不再单独使用深度多层感知机，只将其中的几层全连接神经元用作其它模型的一小部分。对于识别网络加密流量中具有威胁特征的数据，多层感知器模型由于其复杂性而需要大量的网络加密流量威胁样本数据。

与多层感知机类似，卷积神经网络也由具有可学习参数的若干层神经元组成。由于多层感知机模型不能很好地处理高维输入，导致隐藏层中有大量参数，卷积神经网络模型通过使用卷积层解决了这个问题。卷积层使用一组具有少量参数的卷积核，在整个输入上使用相同的一组卷积核来产生下一层的输出。通过在一层中使用相同的卷积核集合，显著减少了参数的数量，使用卷积核还有助于模型具有平移不变性和旋转不变性，在一个或多个卷积层之后使用池化层进行采样，并在最后的隐藏层后连接一个全连接层。

循环神经网络是包含循环结构以存储序列信息的神经网络，循环神经网络专为序列数据设计，其输出数据不仅取决于最后一个输入数据，还取决于先前的输入数据。循环神经网络已成功应用于语音识别、时间序列预测、翻译和语言建模。梯度消失和梯度爆炸使得学习相距很远时间的输入之间的依赖性变弱是传统循环神经网络遇到的挑战，长短期循环神经网络通过添加一组控制何时存储或删除信息的门解决了这一问题。

自动编码器也是一种神经网络模型，与输入层和输出层相比，其隐藏层明显更小，模型的网络结构如图2所示，自动编码器的内部编码表示可用于数据压缩或维数减少。多层感知机、卷积神经网络和循环神经网络都可以用作自动编码器模型的一部分，自动编码器广泛用于初始化深层神经网络的权重。自动编码器有一些变体，例如去噪自动编码器，通过输入不完整的样本数据来训练以输出完整的输入样本，迫使模型具有更强的鲁棒性；以及变分自动编码器，为了从目标数据分布生成虚拟数据。更复杂的自动编码器结构称为堆叠式自动编码器，堆叠了多个自动编码器，其中每个自动编码器的输出都是下一个自动编码器的输入，整个模型以贪心的方法逐层进行训练。

使用深度学习进行网络加密流量样本识别，虽然可以解决传统网络流量识别方法遇到的很多问题，但仍存在一定的限制，如网络加密流量中特征不断发生改变；或网络加密流量数据集中类别不平衡，某种类别的网络加密流量数据数量是另一类别数据的几倍，使得识别模型为提高识别率将所有的小类别样本全部识别为大类别样本，使得模型没有较好的泛化性；只有通过不同的方法根据已有的网络加密流量数据生成尽可能相似的网络加密流量威胁样本数据，将网络加密流量威胁样本数据的数量进行增加，进而才能提升识别模型对网络加密流量威胁样本数据真正的识别率。

发明内容