[发明专利]一种基于谱聚类的未知协议聚类分析方法、装置及介质

说明书

本发明公开了一种基于谱聚类的未知协议聚类分析方法、装置及介质，其中方法包括以下步骤：根据序列长度阈值lsupgt;*/supgt;对样本的协议代表序列进行处理；使用两个字节序列之间最长公共子序列的长度来度量样本之间的相似性，计算相似性矩阵，构建相似性连接图；构建邻接矩阵W和度矩阵D；计算拉普拉斯矩阵L＝D‑W；求取拉普拉斯矩阵L的k个最小特征值所对应的特征向量νsubgt;1/subgt;,νsubgt;2/subgt;,…,vsubgt;k/subgt;，其中νsubgt;i/subgt;∈Rsupgt;n×1/supgt;；构造矩阵V＝[νsubgt;1/subgt;,νsubgt;2/subgt;,...,νsubgt;k/subgt;]∈Rsupgt;n×k/supgt;；将矩阵V的行向量作为样本，使用k‑means聚类算法将这n个样本聚类成k类；输出聚类后的结果C＝(Csubgt;1/subgt;,Csubgt;2/subgt;,...,Csubgt;k/subgt;)。本发明采用谱聚类算法保证模型在对多样化流量聚类时的鲁棒性，保证了模型的稳定性。

技术领域

本发明涉及网络通信技术领域，尤其涉及一种基于谱聚类的未知协议聚类分析方法、装置及介质。

背景技术

近年来，随着互联网网络攻击与网络通信技术的不断发展，层出不穷的网络应用与服务应运而生；为了解决传统标准协议的缺点，例如QUIC、TLS1.3等新的网络协议被提出，同时也正将被加入标准协议规范之中；同时，部分团队针对某些群体的需求，针对性的开发出VPN、私有通信、隐私保护等特定通信协议；网络流量从数量到协议种类呈现出爆发式增长，这使得网络流量分类变得愈发重要。网络流量分类是网络监督、网络维护、网络管理的基础，其目的是实现高效的监督网络流量，合理分配网络资源，提升网络质量，降低网络安全隐患。

网络流量分类常见的分类类型有：①从应用的角度分类；②从服务的角度分类；③从网络协议的角度分类；应用、服务、协议这三个维度在互联网大多数应用中是相互交叉、相互并存的。针对当前网络服务的多样化，开发者们在互联网中开发了大量标准化网络协议。但是更多的开发者在基于经济利益、安全性等因素的考虑下，没有公开所使用的协议。一般将这一类协议称为非标准协议或者未知协议。此类协议在恶意通信软件、隐蔽隧道中更为常见。从网络流量中聚类分析出此类流量是至关重要的。

网络协议最早期的分类方法是基于端口实现的，该方法的基本原理是协议使用固定端口通信，在当时的分类工作中具有极高的准确率。但是随着动态端口技术的出现，该方法已经逐渐变得不实用。其次是基于载荷的协议分类方法，该方法通过深度包检测技术进行模式匹配关键词，该方法在某些应用类协议上具有较高的识别率，但是不具有通用性，尤其是不能抵抗流量仿冒。再次是基于主机行为的协议分类方法，该方法也有着较好的分辨率，但是需要详细分析目标协议的工作流程，不具有广泛的实用性。

基于机器学习的协议分类方法目前是最热门的方法，该方法又分为有监督学习和无监督学习两种。有监督学习是利用KNN、决策树、随机森林等学习模型，在有标签的训练集和测试集上进行统计特征提取，调整模型参数，得出测试集上的最优预测结果。但是有监督学习需要提前对数据打标签，并且提取的特征受网络和环境的影响，模型的鲁棒性有待考验。无监督学习一般是通过聚类实现的，聚类的本质是将无标签集合分解成多个子集，子集内部具有较高相似性，子集之间具有较高的差异性。聚类方法又细分为基于划分的、基于层次的、基于密度的、谱聚类等几类；普遍使用的EM算法、K-Means算法在解决凸数据集时，能够取得较好的结果，很多实验和应用中都使用了K-means等方法对流量进行分类，并且产生了较好的效果；但是该方法对于任意形状的数据集时，效果较差；谱聚类在对数据集分解时，将数据转换成无向图划分问题，可以有效解决任意形状数据集的划分问题。前人通过将流量数据转换成像素图片，利用谱聚类的方法对像素图片处理完成聚类。

发明内容