[发明专利]用于自动调节从发送器通过并行连接到接收器的大量数据传送的机制

说明书

技术领域

本公开内容大体上涉及从发送器通过网络到接收器的数据传送，更具体地，涉及使用并行数据协议从发送器通过网络到接收器的大量数据传送。

背景技术

当在发送器-接收器系统中传送数据时，并行数据协议可被用于发送器-接收器系统中的大量数据传送，在所述发送器-接收器系统中，发送器和接收器通过一个或多个网络进行通信。发送器-接收器系统的例子包括客户端-服务器系统和对等系统。在这样的发送器-接收器系统中，以前考虑在发送器与接收器之间打开多个并行连接（诸如多个TCP连接）。打开多个连接的目的是聚合网络的可用带宽。更准确地讲，发送器与接收器之间的单个连接可能不能使用给定网络中的所有可用带宽。通过打开多个并行连接，可实现任何一个特定网络中的带宽的最大利用。

发明内容

带宽聚合的一个问题是，使得可供使用的带宽的量可以如此大以至于它超出接收器存储数据的能力或者发送器检索用于发送的数据的能力。在这样的数据传送中，从发送器到接收器的数据传送的瓶颈可能不是由可用网络带宽的缺乏而引起的。具体地讲，在存在多余的可用带宽的情况下，数据传送的瓶颈实际上是读取数据和将数据写入到盘时所涉及的物理I/O。

如果I/O存储系统的带宽是瓶颈，则通过使用多个并行连接来聚合带宽的系统将独占比它们能够使用的网络套接字多的可用网络套接字。这样的布置对于通过相同的通信网络操作的其他发送器-接收器系统是不公平的。

在本公开内容中，通过下述方式来解决前述问题，即，基于I/O存储系统的性能来自动调节（autotune）发送器和通过网络与该发送器连接的接收器之间的连接的数量。通过打开和/或关闭连接自动调节连接的数量以便建立两个系统之间的最佳数量的连接。自动调节可具体地通过下述方式发生：当接收器检测到大量数据传送的瓶颈存在于接收器的I/O存储系统中时，关闭现存连接，并且当接收器的I/O存储系统写数据比从网络接收数据快时，打开新连接。而且，通过下述方式来自动调节发送器与接收器之间的连接的数量：当发送器的I/O存储系统读数据比通过网络送出数据快时，打开新连接，并且当发送器的I/O存储系统读数据比通过网络送出数据慢并且多于一个的发送器正将数据发送到接收器时，关闭现存连接。

因此，在这里描述的示例性实施例中，通过网络在发送器与接收器之间建立多个连接。所述多个连接可以是，例如，多个TCP连接。然后通过在所述多个连接上划分地发送数据来将数据从发送器发送到接收器，以便聚合网络的带宽的利用。通过下述方式来自动调节发送器与接收器之间的连接的最佳数量：当接收器检测到大量数据传送的瓶颈存在于接收器的I/O存储系统中时，关闭现存连接。就这一点而言，现存连接的关闭是次要连接而非主要连接的关闭。通过下述方式来进一步自动调节连接的数量：当接收器的I/O存储系统写数据比从网络接收数据快时，打开新连接。另外，通过下述方式来自动调节发送器与接收器之间的连接的数量：当发送器的I/O存储系统读数据比通过网络送出数据快时，打开新连接。通过下述方式来进一步自动调节连接的数量：当发送器的I/O存储系统读数据比通过网络送出数据慢并且多于一个的发送器正将数据发送到接收器时，关闭现存连接。

借助于前述布置，通常可提供自校准，在所述自校准中，发送器和接收器动态地增加和减少连接的数量，以便通过提供理想的吞吐量来改进大量数据传送的性能。另外，在大量的发送器-接收器布置之间保持公平性。例如，如果当前瓶颈是接收器的系统I/O，使得当前数量的并行连接聚合了多余的网络带宽，则可关闭这些连接中的一些，以便释放带宽以供其他发送器-接收器系统使用。

在这里还描述的示例性实施例中，接收器的I/O存储系统包括盘。在这个示例性实施例中，当自动调节连接的数量时，当在接收器的I/O存储系统上执行盘的查找操作时，肯定地检测到大量数据传送的瓶颈在接收器的I/O存储系统中。更具体地讲，因为多个连接正被使用，所以数据可能不能按顺序到达接收器。如果接收器超时等待下一连续数据块，则接收器的I/O存储系统可对乱序数据进行盘写入，这可能要求附加的查找操作。这通常意味着，将数据从发送器传送到接收器比接收器的I/O存储系统将数据写到盘快。因此，瓶颈可能存在于接收器的I/O存储系统中。