[发明专利]一种数据传输调度方法和系统

说明书

本发明公开了一种数据传输调度方法和系统，所述方法涉及数据传输技术领域，所述方法包括：所述调度服务器周期性获取所有在线数据生产者在上一周期内的数据生产情况和所有在线数据消费者在上一周期内的数据消费情况；所述调度服务器根据所有在线数据生产者和所有在线数据消费者的基础设备信息，以及所述数据生产情况和所述数据消费情况，生成传输调度表；所述调度服务器向所述所有在线数据生产者提供所述传输调度表，以使所述所有在线数据生产者基于所述传输调度表进行数据传输。采用本发明，可以在数据消费集群中实现有效的负载均衡，进一步可以提高数据消费集群的数据处理质量和设备资源利用率。

技术领域

本发明涉及数据传输技术领域，特别涉及一种数据传输调度方法和系统。

背景技术

随着网络技术和数据处理技术的飞速发展，CDN集群、云服务集群等业务服务集群(可称为数据生产集群)的业务规模不断扩大，服务能力不断增加。为了保证业务服务的质量，业务服务方一般会通过数据分析集群(可称为数据消费集群)对业务服务集群中的业务服务器生成的数据进行采集和分析，以便基于分析结果对业务服务器的运行状态进行调整。

由于需要采集和分析的数据量巨大，数据分析系统中往往会存在大量的数据分析设备(可称为数据消费者)，而每台业务服务器(可称为数据生产者)在生成数据之后，均可以将数据传输给预先指定的数据分析设备进行分析。例如，数据分析系统中存在A、B、C三台数据分析设备，网络服务系统中存在30台业务服务器，可以设定第1-10台业务服务器将生成的数据传输给A进行分析，第11-20台业务服务器将生成的数据传输给B进行分析，第21-30台业务服务器将生成的数据传输给C进行分析。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

受数据分析设备的处理能力和待分析的数据的数量的不同，每台数据分析设备的负载也不同，在上述数据传输机制下会出现部分数据分析设备持续过载的同时，部分数据分析设备长期闲置的情况，这样不仅会影响数据分析系统的数据处理质量，而且数据分析系统的设备资源利用率较低。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种数据传输调度方法和系统。所述技术方案如下：

第一方面，提供了一种数据传输调度方法，所述方法应用于数据传输调度系统，所述数据传输调度系统包括至少一台调度服务器、多台数据生产者和数据消费者，其中：

所述调度服务器周期性获取所有在线数据生产者在上一周期内的数据生产情况和所有在线数据消费者在上一周期内的数据消费情况；

所述调度服务器根据所有在线数据生产者和所有在线数据消费者的基础设备信息，以及所述数据生产情况和所述数据消费情况，生成传输调度表；

所述调度服务器向所述所有在线数据生产者提供所述传输调度表，以使所述所有在线数据生产者基于所述传输调度表进行数据传输。

可选的，所述调度服务器向所述所有在线数据生产者提供所述传输调度表，以使所述所有在线数据生产者基于所述传输调度表进行数据传输，包括：

对于目标在线数据生产者，所述调度服务器将所述传输调度表发送给所述目标在线数据生产者进行存储；

当需要向数据消费者传输目标数据时，所述目标在线数据生产者根据已存储的传输调度表对所述目标数据进行传输。

可选的，所述方法还包括：

所述调度服务器在服务器前端缓存所述传输调度表；

如果所述目标在线数据生产者存储的传输调度表中不存在所述目标数据对应的调度信息，所述目标在线数据生产者则向所述调度服务器发送数据调度请求；