[发明专利]基于多层聚类的网络视频流分类方法

说明书

本发明公开了基于多层聚类的网络视频流分类方法，该方法包括如下步骤：步骤1：在开放的网络环境中获取所需的视频业务数据，对原始的视频数据流进行基本的流量统计特征计算；步骤2：对上述的基本流统计特征进行深入地统计分析，选取具有实际意义的QoS相关的统计特征；步骤3：将获得的特征进行适当的组合来标识原始的网络数据流，通过多层聚类分类器的多层聚类识别，得到最后的分类结果。本发明方法是一种基于视频流统计特征的业务流分类方法，采用分层聚类的方法，配合有效的特征组合，能取得较好的分类效果。

技术领域

本发明涉及一种基于多层聚类的网络视频流分类方法，属于模式识别与分类技术领域。

背景技术

随着因特网的迅速发展，网络被广泛地应用于人们生活的各个领域。网络中的视频业务的增长尤为迅速，与此同时，各种新的复杂应用和未知协议使得我们的网络环境日趋复杂，一系列的问题如有效的网管、不同业务的QoS保证等也随之产生。对于网络服务提供商(ISP)和网络环境监管者来说，快速准确地识别不同的网络业务流是一种行之有效的解决方法。

常用的识别和分类方法主要有基于端口的方法、基于深度包检测的和基于统计特征的方法。基于端口的识别方法是根据国际互联网代理成员管理局(IANA)建议的非强制端口号来区分不同的应用类型，随着P2P和被动FTP的新型网络应用的日益流行，数据传输中使用大量的随机端口，使得这种方法识别效率很低，分类准确度不高。为了突破基于端口的方法的限制，有大量文献尝试对应用层、载荷等进行深度包检测，该方法通过网络应用在传输过程中的特征来区分不同的应用。它需要解析数据包并获得特征字段，准确性很高，但随着应用负载加密和新型应用的不断涌现，该方法的有效性逐步下降。因此很多研究人员尝试借助业务流的统计特征识别业务流。该方法不需要获取分组的负载，仅通过流的统计特征就能够识别不同的网络业务。然而，如何找到确实有效的业务流统计特征，是一个巨大的挑战。

目前网络业务流分类研究主要集中在基于流统计特征的机器学习的方法。这种方法可以避免基于端口和基于负载检测的方法在应对动态端口、加密流和用户隐私方面的不足。通过深入的研究证明包到达时间间隔业务流分类过程中的重要作用。Mujtaba,G等利用各类业务流的包长分布，对加密通道中的的网络流量进行业务识别和区分，取得了良好的效果。Ibrahim H A H,Mohd Nor S,Ahmed A采用平均包大小和平均包到达时间间隔这两个特征识别在线游戏，同样取得了不错的效果。Erman等提出了一种半监督的方法,使用K均值方法分类业务流数据集，但只强调对方法的改进。上述的工作要么针对某种特定的业务类型，要么只强调对方法的改进而忽略问题的关键，即，如何从原始流的属性中提取有意义的特征组合来标识原始流，进而提高流量分类模型的分类有效性。而本发明能够很好地解决上面的问题。

发明内容

本发明目的在于针对网络视频业务进行识别分类的问题，提出一种多层聚类网络视频流分类方法，该方法基于网络视频流的统计特征，通过采用QoS相关的统计特征组合标识不同的原始视频业务流，在不同层次的聚类中采用不同的分类特征或分类特征组合标识业务流数据作为分类器的输入，经过多层聚类后，得到最终的聚类结果，将该方法用于分析非对称(如在线播放视频)标清、非对称高清、HTTP下载、QQ、Xunlei、Sopcast六种网络视频流应用，实验结果表明，与现有同类方法相比，本方法对上述六种应用能够获得更高的分类准确性。

本发明解决其技术问题所采取的技术方案是：本发明提出了一种基于多层聚类的网络视频流分类方法，该方法通过大量的特征计算和统计分析，找到了一些典型视频业务流的QoS相关统计特征，并验证了这些统计特征组合用于分类的有效性。在基本FCM聚类方法的基础上采用分层聚类的新思路，搭配有效的特征组合设计一种新的网络视频流分类方法。

方法流程：

步骤1：在开放的网络环境中获取所需的视频业务数据，对原始的视频数据流进行基本的流量统计特征计算，具体步骤为：