[发明专利]基于Sketch的网络恶意流量检测方法

说明书

本发明公开了一种基于Sketch的网络恶意流量检测方法，其实现步骤为：1、生成每个设备的样本集与测试集；2、生成每个样本矩阵的关键特征矩阵与非关键特征矩阵；3、用Sketch处理每个设备的每组非关键特征矩阵；4、构建三个模型；5、利用每个设备的三个关键特征矩阵分别训练三个模型；6、选择最佳模型作为恶意流量检测模型；7、利用恶意流量检测模型检测网络流量。本发明能够在设备资源受限的物联网场景中实现快速和高精度的网络恶意流量检测，使用了Sketch融合网络流量的关键特征与非关键特征，具有更精确保留网络流量信息、计算、存储资源消耗低、响应快、检测精度高的优点。

技术领域

本发明属于网络通信技术领域，更进一步涉及到网络信息处理技术领域中的一种基于Sketch的恶意流量检测方法。本发明可通过对网络设备的恶意流量进行检测，为网络安全提供保证。

背景技术

当前互联网应用中大量设备与云服务端直接暴露于网络，存在大量安全漏洞，面临着巨大的安全风险。网络攻击者通过恶意流量攻击，可造成设备被控、用户隐私泄露、设备与云服务端数据被窃取等安全风险，甚至造成网络瘫痪。网络流量以网络流量数据包为载体，通过发送多个数据包，最终形成具有不同特征的网络流。网络恶意流量则指通过网络创建或接收的任何可疑连接或请求数据包。恶意流量检测是维护网络空间安全最核心的技术之一，其通过采集网络数据包，并对其特征进行分析识别，从而发现网络中的恶意流量。网络中恶意流量的检测通常利用构建的用户行为统计模型，并比较检测行为与正常行为特征差异从而检测异常流量。

第四范式(北京)技术有限公司在其申请的专利文献“构建基于PU学习的恶意流量检测模型的方法及装置”(专利申请号：CN 201910333902.X，申请公布号：CN 109936582 A)中公开了一种基于PU学习的网络恶意流量检测方法。该方法首先将生成由网络中流量数据组成的样本数据集和评估集，利用样本数据集训练构建多个候选模型，利用评估集分别对每个候选模型进行恶意流量检测，选择检测结果中符合预设条件的候选模型，通过所选取的集成方法对候选模型进行集成，得到恶意流量检测模型。该方法存在的不足之处是，采用多个候选模型分别对高维特征的数据集进行流量检测，使得设备在恶意流量检测中消耗大量计算与存储资源，难以应用于网络恶意流量的实时检测。

浙江大学在其申请的专利文献“一种基于机器学习集成模型的网络入侵检测方法”(专利申请号：CN 202011473456.1，申请公布号：CN 112769752 A)中公开了一种基于机器学习集成学习模型的网络恶意流量检测方法。该方法的具体步骤包括：采集网络节点入口的流量数据，对流量数据进行特征预处理、特征提取和特征降维，将流量数据进行类别划分，并针对不同类别流量数据构建LSTMi模型，利用每个LSTMi模型的网络流量检测结果进行统计，得到最终网络的恶意流量检测结果。该方法存在的不足之处是，在对流量数据进行特征预处理和特征提取时依赖先验知识，而先验知识在特征提取中的误差将造成样本特征信息损失，进而导致模型在恶意流量检测任务中精确度下降。

发明内容

本发明的目的是针对上述现有技术存在的不足，提出了一种基于Sketch的网络恶意流量检测方法，用于解决现有技术中网络恶意流量检测过程中样本特征选择造成信息损失和模型精确度下降的问题和多模型检测造成的资源消耗大的问题。

实现本发明目的的思路是：本发明使用了Sketch中的哈希函数将网络流量的非关键特征值进行哈希映射，计算了网络流量的非关键特征的统计值，该统计值表征了部分非关键的网络流量特征，通过将该统计值叠加至关键特征矩阵中，得到了融合的网络流量特征，该融合的网络流量特征能更精确地表征网络流量信息，从而解决由样本特征选择方法造成的样本信息损失和模型精确度下降问题。本发明将基于过滤法、嵌入法和包装法的三种样本特征处理方法分别应用于随机森林模型、XGBoost模型和卷积神经网络，选择适用于应用系统的最佳模型和网络流量特征处理方法，该网络流量特征处理方法能够高效完成流量样本处理，该最佳模型能在计算、存储资源有限的条件下作出精准的预测，解决了多模型的网络恶意流量检测方案在资源有限的物联网设备中资源消耗大、响应速度慢的问题。