[发明专利]一种数据流调度方法及设备

说明书

本申请公开了一种数据流调度方法及网络设备，用于基于传输时间以及数据流组在一定时间段内的带宽消耗两个维度对数据流组进行层次化调度，有效地降低数据流组的平均传输时间，提高大数据处理的效率。网络设备确定第一数据流组和第二数据流组的传输时间；然后，网络设备根据预计传输时间确定第一数据流组和第二数据流组的第一调度优先级；若第一数据流组和第二数据流组的第一调度优先级相同，则网络设备根据第一数据流组和第二数据流组的在一定时间段内的带宽消耗确定第一数据流组和第二数据流组的第二调度优先级；最后，网络设备根据第一数据流组和第二数据流组的第二调度优先级确定第一数据流组和第二数据流组之间的调度顺序。

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据流调度方法及设备。

背景技术

随着互联网技术以及物联网技术的迅速发展，大量的设备以及应用不断地产生数据。这些数据存储于数据中心中，针对这些数据进行大数据分析处理已经成为了当前的研究热点。

通常，一个大数据处理任务通过网络传输大量的数据。其中，数据传输过程中一般需要处理许多并行的数据流，这些数据流可以被抽象成为一个聚合流(coflow，本申请后续也称为数据流组)。由于在大部分的大数据处理任务中，传输coflow往往需要占用大量的时间。因此，大数据处理任务的完成时间在很大程度上取决于coflow传输完成的时间。

在数据中心中通常会同时执行多个大数据处理任务，大数据处理的目标是能够在尽可能短的时间内完成所有的大数据处理任务。目前，主要是通过降低coflow的平均传输时间来达到提高大数据处理目标的效率。然而，现有技术中的数据流调度方法并不能够有效降低coflow的平均传输时间，导致大数据处理的效率较低。

发明内容

本申请提供了一种数据流调度方法，根据数据流组的传输时间来确定数据流组的第一调度优先级，并且在有多个数据流组的第一调度优先级相同的情况下，通过比较多个数据流组之间的带宽消耗来确定该多个数据流组的第二调度优先级；通过从传输时间以及数据流组的带宽消耗两个维度上对数据流组进行层次化调度，可以使得传输时间短以及带宽消耗小的数据流组优先调度，缩短了大部分数据流组等待传输的时间，从而有效降低数据流组的平均传输时间，提高大数据处理的效率。

本申请第一方面提供一种数据流调度方法。网络设备确定第一数据流组的第一传输时间和第二数据流组的第二传输时间，其中，第一数据流组和第二数据流组具体可以是待调度的两个不同的coflow，第一数据流组包括一个或多个第一数据流，第二数据流组包括一个或多个第二数据流。然后，网络设备根据所述第一传输时间和所述第二传输时间确定所述第一数据流组的第一调度优先级和所述第二数据流组的第一调度优先级，例如，传输时间越小的数据流，其调度优先级越高；若所述第一数据流组的第一调度优先级和所述第二数据流的第一调度优先级相同，则网络设备根据所述第一数据流组的第一带宽消耗和所述第二数据流组的第二带宽消耗确定所述第一数据流的第二调度优先级和所述第二数据流的第二调度优先级，其中，第一带宽消耗是指在预设时间段内传输第一数据流组所消耗的带宽，例如在单位时间内传输第一数据流组所消耗的带宽，第二带宽消耗为在所述预设时间段内传输所述第二数据流组所消耗的带宽。最后，网络设备根据所述第一数据流组的第二调度优先级和所述第二数据流组的第二调度优先级确定所述第一数据流组和所述第二数据流组之间的调度顺序。例如，第二调度优先级高的数据流的调度顺序在前，第二调度优先级低的数据流的调度顺序在后。

本申请中，根据数据流组的传输时间来确定数据流组的第一调度优先级，并且在有多个数据流组的第一调度优先级相同的情况下，通过比较多个数据流组之间的带宽消耗来确定该多个数据流组的第二调度优先级；通过从传输时间以及数据流组的带宽消耗两个维度上对数据流组进行层次化调度，可以使得传输时间短以及带宽消耗小的数据流组优先调度，缩短了大部分数据流组等待传输的时间，从而有效降低数据流组的平均传输时间，提高大数据处理的效率。可选地，在网络设备确定第一数据流组和第二数据流组分别对应的第二调度优先级之前，网络设备可以先确定第一数据流组的第一带宽消耗和第二数据流组的第二带宽消耗。