[发明专利]基于状态机的消息引擎动态调整方法、装置及电子设备

说明书

本发明实施例提供了一种基于状态机的消息引擎动态调整方法、装置及电子设备，其中，方法包括：如果各副本节点处于异步复制状态，且各副本节点与主节点之间的数据差异小于第一阈值，则将各副本节点的复制状态从异步复制状态调整为同步复制状态；和/或，如果各副本节点处于同步复制状态，且各副本节点、主节点的写操作延展时间大于第二阈值，则将各副本节点的复制状态从同步复制状态调整为异步复制状态。本发明实施例的方案可实现动态调整消息引擎中各副本的复制状态，灵活调整系统吞吐量与高可用、高可靠性的侧重。

技术领域

本申请涉及计算机技术领域，尤其涉及一种基于状态机的消息引擎动态调整方法、装置及电子设备。

背景技术

吞吐量以及高可用、高可靠性是分布式消息引擎架构设计中需要考虑的两个重要因素。目前业界提出的基于多副本的高可用架构解决方案很难兼顾这两个要素使其均达到最优值。Backups、Master/Slave结构通常能达到较高的系统吞吐量，但由于很难保证消息副本的强一致性，最终导致部分节点宕机时存在丢消息的可能性、致使系统故障恢复时间延长，可用性、可靠性降低。2PC、基于Paxos的解决方案以牺牲系统吞吐量为代价来保证数据的强一致性，最终达到部分节点宕机时消息不丢、快速故障恢复的能力。

以Master/Slave结构为例，其包含如下特性：

1)Slave是Master的备份，可以根据消息的重要程度设置Slave的个数，即副本数。消息写请求命中Master，读请求可命中Master或者Slave。

2)写请求命中Master之后，消息可通过同步或者异步的方式从 Master复制到Slave上；其中，同步复制状态需要保证Master和Slave 均写成功后才反馈给客户端成功；异步复制状态只需要保证Master写成功即可反馈给客户端成功。

3)异步复制状态拥有较低的写延迟、较高的系统吞吐量，但只能保证消息多副本之间的最终一致性，进而导致节点宕机时出现丢消息的可能性，如在Master宕机时仍希望消息不丢失，Slave只能以只读的方式等待Master恢复，进而延长了系统故障恢复时间，降低了系统高可用性；相反，同步复制状态会以增大消息写入延迟、降低系统吞吐量的代价来保证机器宕机时数据不丢，降低系统故障恢复时间，提升消息引擎的高可用性。

现有的技术缺点：

通常情况下，消息引擎会通过静态配置设定主节点与多副本之间的复制状态，消息引擎运行过程中不能根据副本节点间的数据差异性、副本间消息复制的延迟等因素动态调整复制状态。这种方式下，不能灵活调整系统吞吐量与高可用、高可靠性的侧重，任意节点的宕机都会打破静态配置的复制状态，并且需要人工介入才能处理恢复至原有状态。

发明内容

本申请提供了一种基于状态机的消息引擎动态调整方法、装置及电子设备，以实现动态调整消息引擎中各副本的复制状态，灵活调整系统吞吐量与高可用、高可靠性的侧重。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，提供了一种基于状态机的消息引擎动态调整方法，所述消息引擎包括一个主节点和多个副本节点，且所述副本节点从所述主节点复制数据的过程存在如下的复制状态：

异步复制状态：写请求命中主节点之后，各所述副本节点从主节点复制写数据，并在所述主节点完成写操作后，向客户端反馈写成功消息；

同步复制状态：写请求命中主节点之后，各所述副本节点从主节点复制写数据，并在所述主节点和各所述副本节点均完成写操作后，向客户端反馈写成功消息；

所述方法包括：

如果各所述副本节点处于所述异步复制状态，且各所述副本节点与所述主节点之间的数据差异小于第一阈值，则将各所述副本节点的复制状态从所述异步复制状态调整为所述同步复制状态；

和/或，