[发明专利]分布式系统中的数据写方法、服务器及客户端

说明书

本发明实施例提供一种分布式系统中的数据写方法、服务器及客户端，所述方法包括：在预设等待时间周期内，接收客户端以预先获取的速度发送的待写数据的写请求，并将各所述写请求放入等待队列中；经过所述预设等待时间周期后，基于两阶段提交协议将所述等待队列中的写请求批量完成，并根据处理各所述写请求时的性能状态，判断主副本所在计算机节点是否已达到性能瓶颈；将各所述写请求对应的判断结果发送给所述客户端，以供所述客户端根据各所述写请求对应的判断结果调整所述速度，以最近调整的所述速度向所述主副本所在计算机节点发送写请求。本发明实施例提升了服务器端的吞吐率，且避免负载过重，方法简单，易于实施。

技术领域

本发明实施例属于计算机存储技术领域，更具体地，涉及一种分布式系统中的数据写方法、服务器及客户端。

背景技术

在电子商务、社交网络、在线音视频服务等互联网应用的推动下，全球的数据正爆炸增长。如何存储与管理如此庞大的数据集合，并能通过分析挖掘从中找寻有价值的规律和知识，为各行业提供真正的智慧，是近及年来学术研究的热点。

以Hadoop等大数据处理平台为代表的大规模分布式处理平台为解决海量数据存储与管理的问题应运而生，它具有可靠性高、可扩展性强等特点。在大规模分布式系统中，每份数据都有多个副本，这就引出了数据一致性问题。为了保证副本间的强一致性，系统设计者一般采用两阶段提交协议(2phase commit，2PC)。先任意指定数据副本中的一个副本为主副本，其余副本为从副本。外界应用对于该数据的写操作都会发送至该数据主副本所在的计算机节点，开始执行两阶段提交协议。每完成一次写操作都会在主副本及从副本所在的计算机节点间产生两次网络交互。假设主副本要执行N个写操作，则完成这些操作需要在主从副本间产生2N次网络交互，显然会产生大量网络延时。

一种简单的优化思路是在主副本所在计算机节点中设置缓存，接收到一批写操作，例如P个后，再通过一次两阶段提交协议完成这P个写操作。显然，P值设置的越大，则分布式系统处理写操作的吞吐率就越高。但该种优化思路的问题在于，如果P设置过小，依然会产生较高延时；如果P设置过大，则计算机节点会很快到达性能瓶颈，无法再对外提供数据访问能力。

发明内容

为克服上述现有的分布式系统中数据写方法网络延时长或易达到性能瓶颈的问题或者至少部分地解决上述问题，本发明实施例提供一种分布式系统中的数据写方法、服务器及客户端。

根据本发明实施例的第一方面，提供一种分布式系统中数据写方法，包括：

在预设等待时间周期内，待写数据的主副本所在计算机节点接收客户端以预先获取的速度发送的待写数据的写请求，并将各所述写请求放入等待队列中；其中，将所述待写数据的任一副本作为所述待写数据的主副本；

经过所述预设等待时间周期后，所述主副本所在计算机节点基于两阶段提交协议将所述等待队列中的写请求批量完成，并根据所述主副本所在计算机节点处理各所述写请求时的性能状态，判断所述主副本所在计算机节点是否已达到性能瓶颈；

将各所述写请求对应的判断结果发送给所述客户端，以供所述客户端根据各所述写请求对应的判断结果调整所述速度，以最近调整的所述速度向所述主副本所在计算机节点发送写请求。

根据本发明实施例的第二方面，提供一种分布式系统中数据写方法，包括：

按照预先获取的速度将待写数据的写请求发送到待写数据的主副本所在计算机节点；其中，将所述待写数据的任一副本作为所述待写数据的主副本；

接收所述主副本所在计算机节点返回的各所述写请求对应的判断结果，根据各所述写请求对应的判断结果调整所述速度；其中，所述判断结果为所述主副本所在计算机节点在处理各所述写请求时已达到性能瓶颈或未达到性能瓶颈，所述判断结果根据所述主副本所在计算机节点处理各所述写请求时的性能状态获取；

按照最近调整的所述速度向所述主副本所在计算机节点发送写请求。