[发明专利]一种基于分区处理共识算法的分布式存储系统优化方法

说明书

本发明公开了一种基于分区处理共识算法的分布式存储系统优化方法，属于分布式系统性能优化领域，主要解决现有分布式存储系统性能随客户端命令冲突的增多而下降的问题。该优化方法实时监控客户端命令的处理情况，并根据客户端命令处理情况，判断是否需要进行分区处理。对无需分区处理的情况，分布式存储系统中各副本采用EPaxos共识算法处理客户端命令；对需要分区处理的情况，先生成分区方案，再根据具体的分区方案协调分布式存储系统中各副本的处理流程，进行分区处理。本发明在客户端命令冲突影响分布式存储系统性能的情况下，能提升系统的延迟与吞吐量性能，同时可以更好地适应不同的客户端环境，满足实际应用的需求。

技术领域

本发明属于分布式系统性能优化领域，涉及分布式存储系统性能优化方法，具体地说是一种基于分区处理共识算法的分布式存储系统优化方法，可用于分布式系统的性能优化。

背景技术

网络飞速发展，应用程序规模呈现逐步扩大的趋势，数据量持续增长……人们逐渐意识到分布式系统在工程实践中不可或缺的作用。分布式存储系统作为分布式系统中的一种，是大型应用程序的基础。谷歌、亚马逊、雅虎、阿里巴巴等公司均有自己的分布式存储系统。

不同于传统存储系统集中存储数据的方式，分布式存储系统将数据分散在不同的物理设备(副本)上存储，不仅有助于分散存储负荷，也便于提供高可用与高性能的服务，但需要对分散在多个副本上的数据进行同步与协调，以确保整个存储系统数据的一致性。共识算法便是用来同步与协调副本数据，确保系统数据一致性的算法。实际应用中，分布式存储系统收到客户端发送的读写请求后，采用共识算法处理，以确保客户端写请求在多个相关副本中同步写入，客户端读请求能返回一致的结果。

提升共识算法的性能，使分布式存储系统以最小的延迟和最大的吞吐量处理收到的客户端命令，对分布式存储系统性能优化以及分布式存储系统的发展具有重要意义。目前，大多数分布式存储系统中的共识算法以Multi-Paxos算法及其变种为基础实现。Multi-Paxos算法变种中，EPaxos算法以集群内高吞吐量和广域网环境下低延迟为设计目标，采取所有副本均可处理客户端读写请求的策略，相较其他Multi-Paxos算法变种，在系统延迟与吞吐量性能方面，表现优异，但随着客户端命令冲突的增多，系统延迟与吞吐量性能也会下降。对客户端命令冲突情况影响系统延迟与吞吐量性能的问题进行优化，使其作为分布式存储系统共识算法时表现出更优异的系统性能，对提升分布式存储系统性能，促进分布式存储系统的发展具有重要意义。

发明内容

本发明方法针对上述问题，以优化分布式存储系统性能为目标，提出一种基于分区处理共识算法的分布式存储系统优化方法，以解决分布式存储系统性能随客户端命令冲突的增多而下降的问题，能够在客户端命令冲突影响分布式存储系统性能的情况下，提升系统的延迟与吞吐量性能，同时可以更好地适应不同的客户端环境，满足实际应用的需求。

实现本发明的关键技术是：在EPaxos共识算法的基础上，引入分区处理的思想，实时监控客户端命令的处理情况，根据客户端命令处理情况，判断是否需要进行分区处理；对无需进行分区处理的情况，分布式存储系统直接采用EPaxos共识算法处理客户端命令；对需要进行分区处理的情况，分布式存储系统先生成相应的分区方案，再根据具体的分区方案协调副本处理流程，进行分区处理。

为实现上述目标，具体实现步骤如下：

(1)各副本采用EPaxos共识算法处理客户端命令；

(2)实时监控客户端命令的处理情况：