[发明专利]一种自适应大规模集群通信系统及其通信方法

说明书

技术领域

本发明涉及大规模集群中分布式文件系统，具体涉及一种自适应大规模集群通信系统及其通信方法。

背景技术

随着时代的发展，信息爆炸逐渐成为人们争相谈论的热门话题，面对如此庞大的信息，如何对某些特种数据进行高效提取和处理，也被提上日程，并成为计算机发展的主要方向之一。据统计，在全球计算能力最强大的500台计算机中，基于集群架构的硬件系统已经增至500个，集群所占的比重已经超过了70％，集群系统已经成为构建高性能计算机系统的主流体系结构之一，并有向超大规模发展的趋势。由此可见，随着信息量的增加，集群技术尤其超大规模集群技术在高性能计算领域和信息处理领域有着旺盛的生命力和广阔的发展前景。

随着超大规模集群(分布式文件系统)技术的发展，人们对其要求也越来越高，尤其是在处理海量数据时，我们会对网络通信、系统负载、磁盘IO提出更高的要求以满足各种性能需求。这些集群系统大多采用了客户端服务器模型。而集群系统中的各个节点之间的通信大多以远程过程调用(remote produce call，简称RPC)或者类远程过程调用的方式进行的。在基于RPC或类RPC构建的分布式集群系统中，数据包丢失、网络连接失败和节点故障等失效情况会导致系统的可靠性问题。由此会引起其他的系统故障，从而降低系统的性能，并妨碍作业的正常进行。

如何及时发现并精确定位系统中的失效是保证集群系统高可靠性需解决的关键问题。如果通信失效或者系统故障未能及时有效检测出来，将会严重影响系统的响应性和可用性；反之，若系统经常发生虚假警报，则会导致错误的修复行动或者处理方式，降低系统的可用性，同时可能会给系统带来无法挽回的损失。

因此，在集群系统尤其是超大规模集群系统应用中，在实现RPC或者类RPC的通信协议时，如何有效的检测通信失效是一个需要密切关注的问题。超时是一种常用且必须的失效检测手段，它通常与一个远程过程调用绑定在一起。在网络通信中，大多数通信协议都是用超时来检测失效，这种检测机制对于底层传输协议不可靠的RPC协议尤为重要，因而，超时检测机制直接影响到集群中的基于RPC或类RPC构建的分布式系统中的很多方面，特别是响应性、可靠性和稳定性等，从而导致集群性能降低。

发明内容

本发明所要解决的技术问题是，提供一种自适应大规模集群通信系统及其通信方法，以提高集群系统的可靠性。

为了解决上述技术问题，本发明公开了一种自适应大规模集群通信系统的通信方法，包括：

自适应大规模集群通信系统实时获取本系统的网络通信往返时间(IRTT)T_IRTT和服务器处理时间T_service，根据实时获取的T_IRTT和T_service实时更新超时阈值T_超时阈值，按照更新的超时阈值进行超时处理操作。

较佳地，上述方法中，根据实时获取的T_IRTT和T_service实时更新超时阈值指按照如下公式实时计算超时阈值T_超时阈值：

T_超时阈值＝T_IRTT+λT_service；

其中，λ为大于等于1的正数。

较佳地，上述方法中，所述λ的取值范围为：1.3＞λ＞1.1。

较佳地，上述方法中，根据实时获取的T_IRTT和T_service实时更新超时阈值的过程如下：

实时获取T_IRTT和T_service，若实时获取的T_IRTT与前一次获取的T_IRTT发生变化，和/或实时获取的T_service与前一次获取的T_service发生变化，则根据实时获取的T_IRTT和T_service更新超时阈值。

较佳地，上述方法中，所述T_IRTT的值为从客户端发出请求到达服务器的时间T_seq与从服务器端返回的数据包到达客户端的时间T_ack的和。

本发明还公开了一种自适应大规模集群通信系统，包括：

第一模块，实时获取本系统的网络通信往返时间(IRTT)T_IRTT和服务器处理时间T_service；