[发明专利]一种数据筛选规则系统的分布式一致性实现方法

说明书

本发明提供一种数据筛选规则系统的分布式一致性实现方法，避免了集中式方式因规则中心的节点异常而导致系统全局不可用的情况发生，同时又确保所有创建生效的规则均经过审批。本发明采用“集中式+分布式”双栈架构的解决方案，两个栈在广域网层面上同时运行、互不干涉，在端点上调和两个栈上结果的不一致状态，实现了集中审批功能和局部可用性优先。以审计代审批为让步条件，支撑局部可用优先约束。

技术领域

本发明涉及一种数据筛选规则系统的分布式一致性实现方法，属于现代数据过滤领域。

背景技术

数据筛选规则系统将在多用户、分布式和广域组网的环境下进行应用，其数据中心往往在网络末梢，资源大，互联带宽低，资源和用户之间也存在一定的约束策略，本地用户可直接管理到本地资源，远程用户则需通过综合利用服务器连到资源端。

不同于一般分布式系统“去中心化”的特点，数据筛选规则系统要求有一个管控/仲裁角色，来完成对规则的集中审批，以实现对规则合法性的筛选。这就需要我们设计一个集中管控方案。分布式广域组网并不十分可靠，存在中断、带宽低、丢包、延迟大等缺点，如果分布式解决方案设计的不合理，为了全局一致性，就可能得牺牲局部可用性，甚至造成用户使用本地资源上的障碍，而局部可用性优先又是用户的基本需求。

CAP(Consistency，Availability，Partition tolerance)定律告诉我们：在一个分布式系统中，一致性、可用性和分区容错性这三种保证无法同时得到满足。对于分布式系统，分区容错性是基本要求，因此设计只能在一致性和可用性之间做出权衡，这就是会有CP系统、AP系统和BASE模型系统【即基本可用(Basically Available)，柔性一致(Softstate)和最终一致(Eventually consistent)】等设计范式的原因。

分布式系统(这里主要指地理上的分布式)中数据一致性问题主要来自于多副本，即系统中存在多个副本、数据的修改通常会在不同的副本上进行。为了解决分布式中的一致性问题，现有的几种典型算法主要有：两阶段提交算法、Lamport面包店算法、Paxos算法、Gossip算法和采用乐观锁原理实现的同步方式等。2006年Google的三篇关于“chubby锁服务”的论文指出，其他分布式算法都可看作是Paxos的特异化形式。鉴于此，下面仅重点介绍一下Paxos算法：

Paxos算法是分布式一致性算法用来解决一个分布式系统如何就某个值(决议)达成一致的问题。一个典型的场景是，在一个分布式数据库系统中，如果各节点的初始状态一致，每个节点都执行相同的操作序列，那么他们最后能得到一个一致的状态。为保证每个节点执行相同的命令序列，需要在每一条指令上执行一个一致性算法以保证每个节点看到的指令一致。Paxos算法是一个较高效的一致性算法，和传统的分布式锁算法还是不太一样的，比如RA算法，它和单机上的加锁解锁有一个最大的共同点就是有很明显的“请求--等待”的过程，而Paxos算法每一个实例之间相对独立，选举过程可以平行执行，后发生的实例是可以再先发生的实例之前表决的，并没有明显的“请求--等待”的感觉。在具体的应用时，分布式锁算法更多的是“互斥”的感觉，一致性算法更多的是“同步”的感觉。整个Paxos算法可以看作是多个交叉执行而又相互影响的两阶段提交算法，该算法具有以下特点：

1、基于消息传递的三点假设，即没有拜占庭将军问题(Byzantine failure)；只要等待足够的时间，消息就会被传到；以及Paxos岛上的议员是不会反对其他议员提出的决议。

2、在结点数少于半数失效的情况下仍然能正常的工作，结点失效可以在任何时候发生而不影响算法正常执行；proposer提出一个提案前，首先要和足以形成多数派的acceptors进行通信，获得他们进行的最近一次接受的提案。

3、整个算法基本上就是围绕着提案编号在进行：proposer忙于选择更大的编号提交proposal，acceptor则比较提交的proposal的编号是否已是最大，只要编号确定了，所对应的value也就确定了。