[发明专利]一种基于自适应聚类的未知应用层协议识别方法

说明书

本发明提出一种基于自适应聚类的未知应用层协议识别方法，包括以下步骤：数据预处理、相似度计算、未知应用层协议聚类。本发明从采集的原始网络数据中重组出网络流，自动化提取网络流的应用层协议数据，计算应用层协议数据的相似度作为应用层协议识别的依据，最后，利用聚类算法对网络流的应用层协议数据进行聚类，实现未知应用层协议的识别。本发明能有效提高未知应用层协议识别的准确率，还可以避免协议识别模型的训练过程，适用范围广泛。

技术领域

本发明涉及网络技术领域，尤其是一种基于自适应聚类的未知应用层协议识别方法，该方法以网络通信中的应用层协议数据为分析对象，通过数据切片的方法提取合适的应用层协议负载用于相似度计算，以应用层协议数据负载间的相似度作为聚类的条件，利用改进的聚类方法迭代处理，将相似的应用层协议数据聚集在一起，实现未知应用层协议的识别。

背景技术

应用层协议识别是指从承载应用层协议数据的网络流量中提取出可以标识应用层协议的关键特征，并以这些关键特征为基础，将同一种类型的应用层协议数据划分在一起。

未知协议指的是协议规范未知的协议。目前很多厂商出于安全、版权保护等原因，并没有公布软件所使用的通信协议的细节。很多恶意软件也基于编写者设计的通信协议进行通信。这些协议大多属于应用层协议，它们的协议规范没有公开，属于未知的应用层协议。

应用层协议识别技术是网络服务提供商和网络管理员提供差异性服务质量保障、实施入侵检测、流量监控等工作的重要基础。

根据识别方法的不同，目前应用层协议识别技术包括基于端口号的流量分类方法、基于深度包检测(Deep Packet Inspection，DPI)的流量分类方法、基于主机行为的流量分类方法以及基于深度流检测(Deep Flow Inspection，DFI)的流量分类方法。

基于端口号的流量分类方法根据IANA(国际互联网代理成员管理局)的建议，以HTTP、FTP、TELNET等协议通常使用的端口号为依据区分这些常用协议。该方法简单快捷，便于实现。但是，随着网络的发展，端口号的数量无法满足越来越多的网络应用需求，动态端口技术应运而生，同一种协议使用的端口号可以固定变化。基于端口号的流量分类方法无法有效识别采用动态端口技术的协议。

基于深度包检测的流量分类方法通过提取应用层数据包的载荷特征，并和事先构建的应用层载荷特征库进行比对，实现应用层协议的识别和分类。该方法解决了协议端口号不固定的问题，可以识别采用动态端口的协议，但是不能识别协议规范未知的协议和加密协议。此外，该方法需要解析应用层载荷，必须维护一个庞大的应用层载荷特征库，占用系统资源较多，计算也较为复杂。

基于主机行为的流量分类方法结合网络层、运输层和应用层的流量特征，通过分析主机行为来区分不同的网络协议。该方法在一定程度上提高了网络流量分类的准确度，但是无法准确识别协议规范未知的应用层协议和加密协议。

近年来，研究者提出了基于深度流检测的流量分类方法，该方法认为从统计学的角度看，每一种协议对应的流特征是唯一的。这里的流特征信息包括流长度、流的持续时间、流中数据包的发送间隔等。可以通过分析协议实体交互过程中流的统计特征来识别不同协议的流量。该类方法不用解析应用层载荷，只需要提取流的统计特征，计算复杂度较低。同时，这类方法不需要维护特征库，资源消耗少。此外，这类方法可以识别加密流量和未知协议流量。但这些方法以距离作为相异度度量标准，存在无法准确度量不同密度区域中数据点间相异度的缺陷，导致该方法在流量识别领域准确度较低。