[发明专利]一种处理数据的方法和装置

说明书

技术领域

本发明涉及计算机技术领域，特别地涉及一种处理数据的方法和装置。

背景技术

企业大数据量的快速激增要求对业务数据分块，进而由分布式系统对各块进行高可用的并行处理。在分布式数据处理系统中，通常有一些通过网络彼此互联且在数量上可以弹性扩展的节点，每个节点都采用相同的工作方式，它们通过一定的协商机制，在协商完毕后结合一致性哈希算法，能够自发地确定由自身处理的数据块，然后对这些数据块进行处理。

对于分布式系统，需要一定的协调机制，使系统在节点变动(例如新增和/或删除一个或多个节点)的情况下系统仍具有较高的可靠性。zookeeper常被软件系统用于构建这种协调机制，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。

在实现本发明的过程中，发明人发现采用zookeeper进行任务调度，需要避免数据被不同的节点重复处理的现象。

发明内容

有鉴于此，本发明提供一种处理数据的方法和装置，有助于避免在分布式数据处理系统中采用zookeeper进行任务调度时出现的数据被不同的节点重复处理的现象。

为实现上述目的，根据本发明的一个方面，提供了一种处理数据的方法。

本发明的处理数据的方法，应用于分布式数据处理系统中，该方法包括：当前节点向zookeeper服务器进行注册并触发对所述分布式数据处理系统中的所有其他节点的监听；当前节点在从所述注册完成时起，于预设时长内监听到全部所述其他节点对新增节点事件做出确认的事件的情况下，确定由自身来处理的数据块；当前节点在从所述注册完成时起，经预设时长后仍未监听到至少一个所述其他节点对所述新增节点事件做出确认的事件的情况下，判断zookeeper服务器中是否保存该至少一个所述其他节点对所述新增节点事件做出确认的信息，若是，则确定由自身来处理的数据块，否则重新向zookeeper服务器进行注册。

可选地，所述注册完成之后，在所述当前节点监听到一条节点变动事件的情况下，该方法还包括：所述当前节点确定变动节点，并且停止当前的数据处理，以及在所述zookeeper服务器中保存对所述节点变动事件做出的确认的信息；所述当前节点在从监听到所述节点变动事件时起，于预设时长内监听到所述系统的所有已有节点对所述节点变动事件做出确认的事件的情况下，确定由自身来处理的数据块。

可选地，所述注册完成之后，在所述当前节点监听到一条节点变动事件的情况下，该方法还包括：所述当前节点确定变动节点，并且停止当前的数据处理，以及在所述zookeeper服务器中保存对所述节点变动事件做出的确认的信息；所述当前节点在从监听到所述节点变动事件时起，经预设时长后仍未监听到所述系统的至少一个其他节点对所述节点变动事件做出确认的事件的情况下，判断zookeeper服务器中是否保存未监听到的其他节点对所述节点变动事件做出确认的信息，若是，则所述当前节点确定由自身来处理的数据块。

可选地，所述注册完成之后，在所述当前节点监听到一条节点变动事件的情况下，该方法还包括：所述当前节点确定变动节点，并且停止当前的数据处理，以及在所述zookeeper服务器中保存对所述节点变动事件做出的确认的信息；所述当前节点在从监听到所述节点变动事件时起，经预设时长后仍未监听到所述系统的至少一个其他节点对所述节点变动事件做出确认的事件的情况下，判断zookeeper服务器中是否保存该其他节点对所述节点变动事件做出确认的信息，若否，则保持停止当前的数据处理，并保持对该其他节点的监听。

可选地，所述当前节点确定变动节点的步骤包括：所述当前节点根据本地保存的所述系统的各节点注册信息和所述zookeeper服务器中保存的所述系统的各节点注册信息间的差异计算出变动节点。

可选地，所述当前节点确定变动节点的步骤之后，还包括：所述当前节点更新本地保存的所述系统的各节点注册信息。

根据本发明的另一方面，提供了一种处理数据的装置。