[发明专利]基于稀疏表示和卷积神经网络的私有加密协议报文分类法

说明书

本发明涉及网络信息技术领域，具体涉及基于稀疏表示和卷积神经网络的私有加密协议报文分类法，包括获取网络流量数据并进行预处理，得到数据集文件以及标签文件；将数据集文件导入稀疏自编码器进行无监督的特征学习，得到维度更小的输入数据；使用稀疏表示后的训练集和训练集标签对二维卷积神经网络进行训练，进行卷积和池化并最小化误差，得到分类器。本发明公开的分类法自动从原始的网络流量中学习到私有加密协议报文的分类特征，实现分类识别；不依赖网络流量数据包头部的IP地址、端口号信息，分类模型泛化能力强；利用稀疏表示学习私有加密协议报文的局部特征，二维卷积神经网络学习私有加密协议报文的全局特征，提高分类器的识别精度。

技术领域

本发明涉及网络信息技术领域，具体涉及基于稀疏表示和卷积神经网络的私有加密协议报文分类法。

背景技术

随着网络环境越来越复杂，很多企业、公司都使用自己的私有加密协议来进行通信，私有加密协议是企业内部制定的协议标准，协议格式是不公开的，报文数据是加密的。从网络安全与监测管理的角度，需要对私有加密协议报文进行有效识别。

基于端口号匹配和DPI(Dots Per Inch，每英寸点数)等根据规则匹配的流量分类方法需要先解析报文内容，再进行规则匹配最后实现分类，这些并不适用于私有加密协议报文。使用机器学习的分类方法不需要对报文的内容进行解析便可以完成分类，因此近年来越来越多的研究机构和人员使用机器学习的方法对网络进行分类。

使用机器学习方法对私有加密协议报文进行分类时，按使用的机器学习算法不同可以分为传统机器学习算法(浅层学习)和深度学习。传统机器学习算法对私有加密协议报文分类主要存在两个问题：一个是需要对待分类的报文人工设计一个可以普遍反映流量特征的特征集，另一个就是传统机器学习方法有很大的局限性，例如对复杂函数难以表示、容易陷入局部最优解等。由于以上两个原因，导致传统机器学习方法对私有加密协议报文分类的准确率不是很高。

因此，需要提出更为合理的技术方案，解决现有技术中存在的技术问题。

发明内容

为了克服上述内容中提到的现有技术存在的缺陷，本发明提供了基于稀疏表示和卷积神经网络的私有加密协议报文分类法，旨在利用深度学习方法自动学习私有加密协议报文数据的局部特征和全局特征，以有效识别网络流量数据中承载的私有加密协议报文的应用类型。

为了实现上述目的，本发明具体采用的技术方案是：

基于稀疏表示和卷积神经网络的私有加密协议报文分类法，包括：

获取网络流量数据并进行预处理，得到训练数据集、测试数据集、训练标签文件以及测试标签文件；

将训练数据集和测试数据集导入稀疏自编码器进行无监督的特征学习，得到维度更小的输入数据；

使用稀疏表示后的训练集和训练集标签对二维卷积神经网络进行训练，进行卷积和池化并最小化误差，得到用于对测试集进行分类的分类器。

上述公开的报文分类法，通过稀疏自编码器和二维卷积神经网络对数据进行处理，可有效识别出网络流量数据中承载的私有加密协议报文应用类型。

进一步的，按照上述公开的方法，在完成分类器的训练后，使用二维卷积神经网络训练完成的私有加密协议报文分类器对测试数据集进行测试，将测试结果与测试集标签进行对比，验证私有加密协议报文分类的准确性。

在私有协议报文分类模型和分类器的设计过程中时，需要考虑分类器的有效输入问题，以提高分类识别的效率。不论是采用公开的数据集，还是研究人员自己采集的网络业务数据流量，原始流量格式均为pcap格式，并不能直接用于基于深度学习模型的私有加密协议报文分类器输入，需要将数据格式转换为idx格式。原始数据除了可能存在数据格式的问题，还可能存在数据信息不完整等问题。因此，必须对真实的网络流量数据进行预处理。采用报文划分、数据归一化、数据可视化以及数据转换的预处理流程。