[发明专利]网络拥塞的处理方法、装置及系统

说明书

本发明实施例公开了网络拥塞的处理方法、装置及系统；其中方法包括：获得流的传输数据量，识别所述流中的可预测流和非可预测流；统计所述可预测流和所述非可预测流的总数据传输量；获得所述可预测流的拥塞传输模型，求解得到所述可预测流的调度策略；为所述可预测流和所述非可预测流分配带宽，得到带宽分配结果，将所述带宽分配结果和所述调度策略发送给主机，使所述主机在调度周期内执行所述调度策略。可以提前预防拥塞，降低延时敏感流的延时，适用于大型的数据中心。

技术领域

本发明涉及通信技术领域，特别涉及一种网络拥塞的处理方法、装置及系统。

背景技术

当前，数据中心包含了上千个通过网络连接的计算节点，支撑着丰富的分布式应用程序的运行。这些分布式应用程序通常需要交换多个计算节点之间的数据信息来执行计算任务或状态维护。例如，在吞吐量密集的可扩展计算应用中，兆/千兆字节的数据需要在主节点和从节点之间传输，这样的过程类似于所有到所有(all-to-all)的通信模式。吞吐量密集的可扩展计算应用可以如：映射归约(MapReduce)和Hadoop。再比如，一些分区/聚集样式的网页(Web)应用的结构典型地由一组具有层次结构的组件组成。在这些组件之间，一系列的并行请求会传递给多个服务器节点，然后各个服务器节点会返回部分结果，最终客户机节点再将这些返回的内容聚合在一起，以获取最终的结果，这样的过程类似于all-to-one的通信模式。分区/聚集样式的Web应用可以如：web搜索引擎和memcached。所以，现在的数据中心网络正变得越来越像一个紧密耦合的通信网络。

数据中心网络存在着网络拥塞的问题，而这一问题通常是由吞吐量密集型的负载引起的。若延迟敏感的应用(如PTPd，memcached，Naiad等)同吞吐量密集型的应用共享同一个网络，那么延迟敏感的应用很可能会遭受高延迟。这是因为吞吐量密集型的应用很容易产生大量的数据包，并占用网络中交换机里很大一部分的缓存空间，而实时数据包就会被动地在缓存中排队等待，甚至因为缓存溢出被丢弃。

另外，除了高延迟，吞吐量也可能出现严重的下降。数据中心中，很多应用数据分布式存储到不同的服务器中。当一个客户端发送数据请求，经过中间处理，所有包含请求数据的服务器都会同步向该客户端发送数据。这些链接会经过同一个交换机并利用同一条到达客户端的链路，称为瓶颈链路。多条链接竞争同一交换机的出口缓冲区容易导致缓冲区溢出，产生丢包，这个问题通常称为传输控制协议(Transmission Control Protocol，TCP)聚播(incast)。在分布式的应用场景下，如MapReduce，集群存储，网页搜索等，只有当所有链接都完成数据传送以后，客户端才会发送下一个请求。一旦其中一条TCP连接发生了丢包需要重传，其余所有链接将处于空闲状态并等待重传完成。在等待重传的这段时间里，瓶颈链路的利用率远远低于链路本身的带宽，同时使得网络的吞吐量剧烈下降。超低的吞吐率不仅使得网络性能极低，而且让应用层分布式技术的优点无法凸显，数据传送效率低。

目前在TCP层级的解决方案，通常可以如减小TCP的RTO_min；该RTO_min为超时重传机制(Retransmission Timeout，RTO)中的重传超时最小值；修改并增强TCP协议以及优化依赖显示拥塞通知的TCP拥塞控制算法，如数据中心传输控制协议(Data Center TCP，DCTCP)，TCP的内嵌拥塞控制(IncastCongestion Control for TCP，ICTCP)等。

但是采用以上方案在网络拥塞发生时也即特定的拥塞信号产生时，才会做出相应的拥塞避免措施。因此较为被动，不能够起到提前预防拥塞的作用，会增加无效重传的风险。

发明内容

本发明实施例提供了一种网络拥塞的处理方法、装置及系统；用于提前预防拥塞，降低延时敏感流的延时，适用于大型的数据中心。

一方面本发明实施例提供了一种网络拥塞的处理方法，应用于包含主机和交换机的系统，本实施例的执行主体可以为网络控制器，该网络控制器可以作为独立的网络实体布设于系统中，所述方法包括：