[发明专利]一种低延迟的分布式计算共识算法

说明书

本发明公开了一种低延迟的分布式计算共识算法，主要解决在并发客户端之间的命令冲突率增大时，系统响应延迟增加的问题。该算法将EPaxos算法和不受并发客户端命令冲突情况影响的Multi‑Paxos算法相结合，根据算法运行过程中的客户端负载情况、并发客户端命令冲突情况以及网络实时情况，每隔一段时间进行EPaxos算法和Multi‑Paxos算法系统平均延迟的计算，根据计算结果，智能地转换到系统平均延迟较小的算法模式。本发明算法具有更好的适应能力、更优的延迟性能、更高的综合效率，实现了在并发客户端之间的命令冲突率较大的情况下，较EPaxos算法能获得更低的系统响应延迟；在客户端负载不均衡时，比Multi‑Paxos算法更能适应多样的客户端环境。

技术领域

本发明属于分布式计算领域，涉及非拜占庭故障的异步分布式系统环境下解决共识问题的算法。具体地说是一种低延迟的分布式计算共识算法，可用于分布式存储系统，分布式应用程序协调服务等领域。

背景技术

分布式计算是一个古老而宽泛的话题，而近几年因为“大数据”概念的兴起，又焕发出了新的青春与活力。共识问题是分布式计算中最重要的问题之一，是许多商业分布式系统的核心，它刻画了不同处理器之间的协调问题，即如何从互相冲突的输入值产生一致的输出值。现如今的许多基于分布式系统的软件，如Hadoop，HBase，Spanner，Dynamo等，都需要解决共识问题。在非拜占庭故障的异步分布式系统环境下解决共识问题，更加接近共识问题的现实环境，提出的解决方法也更具有普适性。对非拜占庭故障的异步分布式系统环境下的共识问题进行研究，对于分布式计算、大数据的研究，有着重要的推动意义。

FLP不可能定理指出：在存在故障(即使只有一个进程故障)的异步系统中，不存在用于解决共识问题的确定性算法。这说明，解决共识问题的算法必须在安全性(safety)和灵活性(liveness)之间取舍。Leslie Lamport提出的Multi-Paxos算法是确保安全性的共识算法中的经典。为了防止在并发情况下陷入活锁，Multi-Paxos算法需要选举一个领导者和并发客户端进行交流，接受并发客户端传递的命令。但是领导者的设置使得在广域网环境下的分布式系统中，客户端和分布式系统交互需要更大的延迟(和领导者不在同一局域网的客户端需要花费更多的时间和领导者进行通信)。当领导者所在局域网的网络延迟增加，将会影响到整个系统的响应时间。针对此问题，许多算法对Multi-Paxos算法进行了改进，其中，EPaxos算法是近几年提出，影响较为深远的Multi-Paxos算法变种。EPaxos算法不选举特定的领导者，允许所有的副本接受客户端提出的命令。通过让客户端将命令发送给最近的副本，降低了广域网环境下系统响应的延迟。但是EPaxos算法随着并发客户端之间的命令冲突率的增大，系统的响应延迟也会增加。

发明内容

针对上述问题，本发明提出一种低延迟的分布式计算共识算法，以解决在并发客户端之间的命令冲突率增大时，系统响应延迟增加的问题，能够在并发客户端之间的命令冲突率较大的情况下，较EPaxos算法获得更低的系统响应延迟；在客户端负载不均衡时，比Multi-Paoxs算法更能适应多样的客户端环境。

实现本发明的关键技术是：在EPaxos算法的基础上，将EPaxos算法和不受并发客户端命令冲突影响的Multi-Paxos算法相结合，根据算法运行过程中客户端的负载情况、并发客户端的命令冲突情况以及网络的实时情况，进行系统平均延迟的计算，通过每隔一段时间分别计算的EPaxos算法模式下和Multi-Paxos算法模式下的系统平均延迟，智能地转换到系统平均延迟较小的算法模式。

为实现上述目标，具体实现步骤如下：

(1)执行EPaxos算法模式；

(2)根据算法运行过程中客户端的负载情况、并发客户端的命令冲突情况以及网络的实时情况，每隔时间段t_s计算EPaxos算法模式下系统的平均延迟Lat1(EPaxos)以及估计Multi-Paxos算法模式下系统的平均延迟Lat1(Multi-Paxos)：