[发明专利]一种基于机器学习加速的网络流量分类方法

说明书

本发明属于网络安全技术领域，公开了一种基于机器学习加速的网络流量分类方法，利用网络流数据的特征向量，将待识别网络流数据的特征作为随机森林模型的输入，进行网络流量的监督学习；之后从训练好的模型中提取出协议匹配规则，实现了网络流量协议的快速识别匹配功能；同时结合深度包检测方法，在保证现有方案识别准确度的情况下，大幅度提升了分类速度。本发明通过减少传统深度包检测方案中的多次盲目匹配，解决了其造成的性能损失问题，提高了网络流量分类系统在实际使用中的检测效率和系统的吞吐量。同时本发明提出的改进方案具有非常高的兼容性，支持目前所有新型的深度包检测匹配改进算法及硬件加速方案等，具有很强的实践价值和意义。

技术领域

本发明属于网络安全技术领域，尤其涉及一种基于机器学习加速的网络流量分类方法。

背景技术

目前，最接近的现有技术：随着网络规模和密度的增加，协议变得更加多样化，相关的流量分类分析的工作愈加重要。识别通信流量是互联网中非常重要的问题。主流方法主要基于端口，主机行为连接，深度包检测和机器学习。但前两种方法无法适应当前的网络环境，因为许多应用程序越来越多地使用不可预测或随机的端口号，而主机之间的网络连接行为受复杂网络环境的影响非常大。因此，常用的流量分析和分类方法是深度包检测技术和机器学习方法。

现有技术一基于机器学习的网络流量协议识别方法：近年来，对机器学习的研究非常热门，许多研究人员将其引入流量分类问题并取得了很大的研究进展。基于机器学习的分类方法一般是使用监督机器学习算法，如贝叶斯网络，决策树或其他算法。这些算法首先使用已知为训练数据的网络流量来查找流的特征。当模型经过良好的训练以测试新流程时，算法将获得流程的特征，并将其与在训练阶段学习的特征进行比较，以确定它属于哪个协议。同时，无监督学习的兴起也促进了聚类算法在分类中的应用，如K-Means，DBSCAN等方法。与分类技术相反的是使用预定义的训练实例聚类，聚类方法通过自我学习发现在没有指导的情况下发现数据集中的自然分组。一般来说，机器学习方法运行得足够快，但它需要通过对数据的训练来学习和生成分类方法。为使分类方法尽可能准确，使用者需要源源不断地提供大量、准确的数据来给机器学习算法使用，而不同参数的设置也对算法最终的识别结果产生巨大的影响，每次调整参数都将重新学习，这花费了大量的时间。因此，机器学习方法过分依赖于数据集和训练时间。除非有经验丰富的专家来调整模型，否则准确性相对较低。

现有技术二基于深度包检测的网络流量协议识别方法：深度包检测技术是目前有效地检查数据包有效载荷的基本工具。相比较与机器学习方法，深度包检测技术在实际使用中实现了高准确率。但由于其特征匹配过程大部分是由正则表达式完成，对于数据包的载荷进行字符级别的匹配，传统的字符串匹配算法根本无法降低运算复杂度，使得算法进行了大量的比较操作，因此它消耗了极多的计算资源，同时运行速度相对较慢。在网络速度较高的现实场景下，无法满足快速的识别要求。针对这一问题，研究人员提出了许多改进方法，其中大部分都侧重于改进深度包检测的匹配算法。

现有技术三是结合机器学习和深度包检测的网络流量协议识别方法：首先选择机器学习方法进行分类，然后使用深度包检测方法来评估效果。最终结果由两个方法分类器共同决定。因此，该种分类方法结合了两种主流方案，准确性有所提高，但重复分类会给控制器带来更多的计算负担(双重分类和结果比较)，严重降低了系统的性能，不适合在实际中使用。

综上所述，现有技术存在的问题是：现有的深度包检测方法存在速度慢、匹配繁琐；机器学习方法的模型存在要求高、准确度不稳定；机器学习和深度包检测的方法带来的性能开销较大，使用场景匮乏。