[发明专利]一种适应于大规模存储集群的失效检测方法

说明书

技术领域

本发明涉及集群存储领域，更具体的地说，涉及一种适应于大规模存储集群的失效检测方法。

背景技术

随着信息化和网络技术的快速发展，数据快速增长，使得人们无法准确的根据对数据量的预测和估计来规划存储系统方案，而且存储硬件随着技术的发展价格在迅速下降，逐步的按需扩展存储节点有利于提高投资的利用率，企业需要存储系统具有按需扩展的能力。集群存储技术能很好的满足这种需求，部署大规模存储集群可以实现高性能、高可用性、高扩展性。

失效检测是检测者利用一定的检测模型及算法对被检测者进行检测，判断被检测者在某时刻是否失效的过程。所以高效的失效检测方法是实现集群存储系统高可用性的基础，它对运行时系统中节点的存活状态进行及时和准确的检测，从而通知系统采取应对措施，如启用备用节点，状态迁移和数据恢复等。然而由于网络状况的多变性，如消息丢失，进程负载过大时导致的消息处理延时过大和缓冲区溢出等问题，实现完全高效和正确的失效检测机制是相当困难的。

衡量失效检测方法的指标有：准确性、完整性和扩展性。

目前流行的2种失效检测方法：Gossip失效检测方法和层次式失效检测方法。

Gossip失效检测的主要思想借鉴了类似病毒的传播方式。个人信息以及对其他人的看法不被保密并且在其他人之间传播。这种流言消息的接收者把流言消息再传播给他相识的人。Gossip失效检测方法就采用了这种消息传播机制，系统中的节点频繁地交换着各节点状态的信息。具体实现过程如下：

心跳消息是失效检测方法的基础。Gossip协议是一种概率型的广播协议，最开始是用来保持分布式数据库系统的一致性。在该方法中，每个节点都维护一个Gossip列表。Gossip列表其实是系统中节点的标识符以及该节点的心跳计数值的列表。每个节点周期性的将自己的Gossip列表发送给一个随机选择的节点。收到Gossip列表的节点将会把自己的Gossip列表与收到的列表进行合并，对于相同节点标识符的项，其对应的心跳计数值取两者的最大值。如果一个节点的Gossip列表中，另外一个节点的心跳值在超出一个时间值之后，仍然未更新，将被怀疑为失效。并且如果在L秒后，仍然没有接收到该节点的心跳更新信息，就将该成员从列表中删除，采用这种方法使所有的成员最后都能检测出失效的成员。

该方法对于网络造成的负载最小。并且如果设定的超时值足够长，准确度也最高。但是随着失效节点数的增多，所需的检测时间迅速增长。为了提高准确度，必须将超时值（timeout）设置的足够大，这样将使得检测时间过长，检测速度降低。也就是说Gossip失效检测方法是采用牺牲检测时间换取对网络负载的低影响和高准确度的。该方法会导致系统网络负载随节点的增加线性增加。

层次式失效检测方法是为了解决大规模失效检测技术对网络负载影响的问题而提出的。多层次的失效检测方法主要是针对单层次的基本失效检测方法在对网络负载的影响方面加以改进的，多层次的失效检测把一个失效检测系统划分为多个层次，各节点上的失效检测模块不再是对等的，各失效检测模块所完成的功能和在失效检测系统内的作用也是有差异的。在多层次的失效检测方法中节点存在普通节点与领导者节点之分，每个层次内部的普通节点只能看到本组中的所有节点，对于其它组的成员信息普通节点是看不到的。组内的普通节点发送心跳消息时也只需要向本组中的节点发送，不同组之间节点的失效检测是通过组领导者的通知来实现的。多层次系统中的特殊节点，我们称之为组领导者，负责组间检测消息的传递。组领导者可以看到整个系统中的所有节点的状态信息。处于同组内的节点之间的失效检测采用PUSH模型。不同组之间的失效检测采用由组领导通知的方式。

对于系统中的普通节点来说。系统中任意节点每隔相同的时间间隔T，向组内所有其它节点发送心跳消息证明自己的存活状态。假设组内节点间的消息延迟的超时值上限为Tmin，组内节点在发送心跳消息的同时接收来自组内其他节点的心跳消息，如果在Tmin时间后仍然没有接收到组内某个节点的心跳消息就认为此节点已经失效。与此同时也接收来自组领导者的系统中其他组的节点状态信息，同时更新本节点的节点成员信息列表。

对于系统中的组领导者。除了完成普通节点的任务以外。每隔时间间隔T向系统中其他组领导者发送本组所有节点的状态列表。同时接收来自其他组领导者的关于其他组的节点状态信息列表，并在更新本节点的节点成员状态信息的同时．把该成员状态列表转发给组内所有其它普通节点。

该方法的问题是基于领导者节点的模式容易造成领导者节点成为热点而使检测时间增加，影响失效检测的效率。