[发明专利]基于多层聚类的网络视频流分类方法

摘要

本发明公开了基于多层聚类的网络视频流分类方法，该方法包括如下步骤：步骤1：在开放的网络环境中获取所需的视频业务数据，对原始的视频数据流进行基本的流量统计特征计算；步骤2：对上述的基本流统计特征进行深入地统计分析，选取具有实际意义的QoS相关的统计特征；步骤3：将获得的特征进行适当的组合来标识原始的网络数据流，通过多层聚类分类器的多层聚类识别，得到最后的分类结果。本发明方法是一种基于视频流统计特征的业务流分类方法，采用分层聚类的方法，配合有效的特征组合，能取得较好的分类效果。

主权项

1.基于多层聚类的网络视频流分类方法，其特征在于，所述方法步骤包括：步骤1：在开放的网络环境中获取所需的视频业务数据，对原始的视频数据流进行基本的流量统计特征计算，包括：步骤1‑1：在开放的网络环境中，通过WireShark网络分析工具抓取所需的网络视频数据流，然后将抓取的原始数据流保存成包含五列数据的标准文本格式，其中包括包到达时间、源IP地址、目的IP地址、协议、包尺寸五列原始信息；步骤1‑2：对原始的视频数据流进行基本的流量统计特征计算，这些特征包括：包尺寸、包到达时间间隔、字节速率、分组速率、包大小的信息熵、包到达时间间隔的概率密度函数、包到达时间间隔的累积密度函数；步骤2：对上述的基本流统计特征进行统计分析，选取具有实际意义的QoS相关的统计特征，包括：步骤2‑1：通过对基本的流统计特征进行统计分析和实验验证，得出具有区分效果的QoS相关的统计特征；步骤2‑2：对于区分实际分析的网络视频流选取四个QoS特征，其中，QoS特征包括：1)下上行字节数之比；下上行字节数之比即一条流中去除开销之后剩余的数据中下行字节数与上行字节数的比值；2)下行包大小的信息熵；下行包大小的信息熵可用来衡量一条流下行包大小的分布均匀程度，该值越大，说明某种业务的包大小分布越均匀；3)下行子流片段数目；连续的出现相同源IP的数据包称为子流片段，这些IP地址能重复；对称业务流中的子流片段数目较多；4)下行有效IP数目；定义持续时间大于0.5秒的IP地址为有效IP地址；下行有效IP数目是指下行数据中总的持续时间大于0.5秒的源IP地址数目的总和；步骤3：将获得的特征进行组合来标识原始的网络数据流，通过多层聚类分类器的多层聚类识别，得到最后的分类结果，包括：步骤3‑1：由于对称业务和非对称业务在下上行字节数之比和下行子流片段数目这两个特征上有很大的差异，因此选取该二维特征空间作为区分对称视频业务和非对称视频业务的特征组合；步骤3‑2：对称视频业务中的QQ、Xunlei和Sopcast这三种业务：QQ的下行包大小的信息熵较后两者明显偏大，而Sopcast的下行包大小的信息熵比其余两种都要小，Xunlei的下行包大小的信息熵跨度较大，但与其余两者也都有区分度，并且在下行子流片段数目这维特征空间上QQ与Xunlei、Sopcast也有明显的区别，选取下行包大小的信息熵和下行子流片段数目作为区分对称业务的有效特征组合；步骤3‑3：非对称标清、非对称高清和HTTP下载这三种业务：HTTP下载是一种传统的应用类型，它类似于FTP服务，只是两个IP之间的交互，因而该业务的有效IP数目必然较少，而对于非对称的高清和标清业务，虽然某一时刻也同样是两个IP之间的信息交互，但是所要获取的资源不仅仅存在于一个视频服务器中，由于网络环境的影响，与当前连接的服务器断掉了，这样本地IP就要重新获取其他服务器上的资源，因而这两种业务的下行有效IP数目必然偏多，采用这个特征能将HTTP下载和非对称的标清、高清区分开，对于非对称的标清和高清而言，从现有的特征空间看，只有下上行字节数之比能将他们分开；步骤3‑4：采用所述的特征组合表示原始的网络视频流，采用核函数的FCM进行多层聚类，包括如下步骤：步骤3‑4‑1：将所有的原始数据流使用二维特征矢量(Ti,Tj)标识进行第一层聚类，得到两大类聚类结果C1，C2；步骤3‑4‑2：对一层聚类结果C1，C2的数据流分别使用特征矢量Vi，Vj进行标识，进行第三次聚类得到聚类结果C21，C22；步骤3‑4‑3：对上述步骤3‑4‑2中的聚类结果采用同样的方法再次进行聚类，直到最终的聚类结果等于给定的类别数就停止；步骤3‑4‑4：统计聚类输出结果；所述方法的流量的获取及统计特征的计算：通过网络分析工具WireShark在开放的网络环境中获取待分析的网络视频数据，其中包括非对称标清、非对称高清、HTTP下载、交互式视频通信类、P2P文件共享类、网络在线直播类六类视频应用，将获取的网络视频流数据保存成TXT文档格式，即为一条流，其中包含5列，从左至右依次是包到达时间、源IP地址、目的IP地址、协议、分组大小，流是指同种业务在30分钟时间内所抓取的数据包序列，在此称其为一条流，每种业务都抓取60条流来分析问题，然后，将原始的视频流输入到网络数据流处理平台，进行统计特征计算，最后得到一系列的网络视频流的QoS相关的统计特征。