[发明专利]大数据流量的优先级分类方法、调度方法和装置

说明书

本发明提供一种大数据流量的优先级分类方法、调度方法和装置，应用于数据中心，该数据中心网络包括m个入端口和n个出端口，优先级分类方法包括，步骤10：更新数据中心的大数据流量Coflow有序变量F，F包括数据中心正在传输和待传输的Coflow，令k为F中Coflow的序号，k＝1,2…K；步骤11：计算F中每个Coflow在m个入端口和n个出端口中已传输流量，查找每个Coflow在m个入端口和n个出端口中已传输流量的最小值并记为l_k，k＝1,2…K；步骤12：更新优先权指标k＝1,2…K，与l_k成正比、与w_k成反比，w_k为F中序号为k的Coflow的权重；步骤13：对ψ_k进行非递减排列得到ω，ω中第一项的ψ_k对应的序号为k的Coflow优先级最高，以后优先级逐项递减。本发明提出的Coflow优先权指标更能反映出Coflow对带宽的实际需求。

技术领域

本发明涉及计算机领域，特别涉及一种大数据流量的优先级分类方法、调度方法和装置。

背景技术

近年来，大数据处理架构，如Map-Reduce、Dryad、Spark、分布式存储等被广泛应用在数据中心，这些应用在运行时产生的大量网络流量给数据中心的网络带来了巨大的挑战。数据中心网络从拓扑设计、路由设计、传输优化等各方面进行了改进，使得数据网络的实时带宽和延时能满足应用需求。

在数据中心传输优化方面的改进包括：根据数据流的特性进行分类，如PDQ(Product Data Quality)或pFabric，然后采用SJF(Shortest Job First)策略，让小的数据流获得更多的带宽，从而，对减少数据流完成时间(FCT)，进而减小应用延迟。

然而，在数据中心，数据传输不可能仅仅通过一条流来完成，由于存在数据依赖，通常包含一组并行的数据流，当这一组数据流都传输完成，应用才可以进行下一步。因此，在这种场景下，仅仅进行流级别的优化是不够的，需要进行数据流组级别的优化。

针对这个现象，美国加州伯克利大学提出了大数据流量(Coflow)的概念，以一个整体去调度一组上下文相关的数据流。

目前已存在对Coflow进行优化的方法，如Varys使用SEBF(Smallest-Effective-Bottleneck-First)对Coflow的优先级进行优化，然后使用MADD(Minimum-Allocation-for-Desired-Duration)确定Coflow的带宽。但是，Varys需要预先知道Coflow的流大小、宽度、源地址等信息，但在实际应用中，Coflow的流大小经常很难预知。

基于此，又出现了盲调度的方法，比如Aalo、CODA等，这些方法不需要预先知道Coflow的流大小，同样地也无法得到最优的结果。

其他，对Coflow进行优化的方法，如分布式调用模式的Barrat，因该方法需要大量修改交换机，使得分布式的调度在部署到实际生产环境中的可能性大幅降低。

以上可知，目前对Coflow进行优化的方法中，缺乏适用范围广、优化效果又好的方法。

发明内容

本发明提供一种大数据流量的优先级分类方法、调度方法和装置，解决目前Coflow的调度方法适用范围受限或传输优化效果较差的问题。

本发明提供一种大数据流量的优先级分类方法，应用于数据中心，该数据中心网络包括m个入端口和n个出端口，该方法包括：

步骤10：更新数据中心的大数据流量Coflow有序变量F，F包括数据中心正在传输的Coflow和待传输的Coflow，令k为F中Coflow的序号，k＝1,2…K；