[发明专利]基于CNN和XGBoost的网络流量异常行为检测方法

说明书

本发明提出了基于CNN和XGBoost的网络流量异常行为检测方法，属于网络安全入侵检测技术领域，包括以下步骤：首先使用抓包函数或工具获得网卡或者其他端口的流量数据(pcap)；然后使用splitcap等工具对流量数据按照五元组的方式进行拆分，获得短流flow，之后对flow进行修整，使所有flow字节数一致，多了舍弃，不足就零填充；对于n个字节的flow，将每个字节看作一个像素(0‑255)，实现flow数据的图像化；之后使用卷积神经网络提取flow图像特征，接着对CNN网络提取出的特征使用xgboost算法进行分类，实现对异常流量的检测。本发明能够提升异常检测的精度和误报率，在一些公开的数据集上都有不错的表现。

技术领域

本发明属于网络安全入侵检测技术领域，具体涉及基于CNN和XGBoost的网络流量异常行为检测方法。

背景技术

随着互联网的不断发展，网络的规模越来越大、拓扑结构越来越复杂，网络安全问题变得更复杂多样。网络异常流量检测通过对网络流量的检测分析，可尽早地检测出网络中是否存在攻击和破坏行为，为网络安全管理提供决策依据，因此，网络异常流量检测已成为网络安全研究的重点。

异常流量是在网络环境中偏离正常流量的情形，正常流量不是固定不变，它随用户的操作、业务流程、网络管理的变化而变化，异常流量的产生包括各种各样的网络异常行为，网络的设计问题、软硬件配置问题和用户的粗心大意的操作行为所产生的网络流量。

传统的通过静态规则匹配的误用检测检测方法在动态、复杂的网络环境中难以检测出未知异常和攻击类型，不能满足网络安全检测的要求。机器学习具有自学习、自演化的特性，可以适应复杂多变的网络环境，能够检测出未知异常，满足实时准确检测的需求。

虽然机器学习在流量异常检测领域有了一些研究成果，但是都存在一些问题：一是目前很少有研究工作提出十分有效的解决方法，来解决入侵检测问题下的样本不平衡问题；二是检测精度和误报率都无法达到产品的要求，所以在实际应用中很少。

发明内容

发明目的：本发明的目的是提供基于CNN和XGBoost的网络流量异常行为检测方法，通过训练后的模型再测试数据集上获得较好的精度和较低的误报率，且针对网络异常检测领域存在的诸如数据不均衡，加密流量等尚未有好的解决方案的问题有所启示。

技术方案：为了实现上述发明目的，本发明采用如下技术方案：

基于CNN和XGBoost的网络流量异常行为检测方法，包括以下步骤：

S1：使用抓包函数或者抓包工具抓取网卡或者其他端口的流量数据(pcap)；

S2：使用工具对pcap流量数据文件进行切分，获得flow或session；

S3：对切分后的流量数据进行清洗，删除重复冗余向项和空数据；

S4：修整flow，使所有flow字节长度统一；长了就舍弃，不足就零填充；

S5：对于flow，把每个字节看作一个像素值(0-255)，实现flow数据图像化；

S6：使用卷积神经网络提取flow灰度图的特征；

S7：对CNN网络提取出的特征使用xgboost算法进行分类，实现对异常流量的分类和检测。

进一步地，S1中，所述的抓取是使用wireshark工具或者python的scapy或dpkt库函数实现对流量数据包的嗅探抓取。

进一步地，S2中，所述的进行切分是采用splitcap、pkt2flow按照五元组的方式对pcap流量数据文件进行切分，获得flow或session。

进一步地，所述的五元组是指源IP地址、目的IP地址、协议号、源端口、目的端口。