[发明专利]一种批处理数据分片方法、系统、计算机设备及存储介质

说明书

本发明提供了一种批处理数据分片方法、系统、计算机设备及存储介质，其方法包括步骤：在客户端启动时，注册服务到Zookeeper；接收所述Zookeeper对新注册的消息发送的广播；查询所述Zookeeper更新后的节点列表；获得所述客户端对应的节点在所述节点列表中的当前排序位置，以及总注册数量；根据所述当前排序位置以及所述总注册数量，计算获得所述客户端对应的分片系数。该方案通过Zookeeper，能够实现批处理数据分片的动态、实时扩容，从而能够提高批处理任务的执行效率，有利于降低开发接入成本和开发难度。

技术领域

本发明涉及数据分片技术领域，尤指一种批处理数据分片方法、系统、计算机设备及存储介质。

背景技术

Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。Zookeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。

随着现在分布式系统应用越来越广泛，且处理的数据量也越来越大，在传统模式中处理批处理的任务往往都是单机部署，这样的话就会存在瓶颈，不利于提高批处理任务的执行效率。因此，需要一种基于Zookeeper，能够支持动态、实时扩容，以提高批处理任务执行效率的批处理数据分片方法。

发明内容

本发明的目的是提供一种批处理数据分片方法、系统、计算机设备及存储介质，该方案通过Zookeeper，能够实现批处理数据分片的动态、实时扩容，从而能够提高批处理任务的执行效率，有利于降低开发接入成本和开发难度。

本发明提供的技术方案如下：

本发明提供一种批处理数据分片方法，包括步骤：

在客户端启动时，注册服务到Zookeeper；

接收所述Zookeeper对新注册的消息发送的广播；

查询所述Zookeeper更新后的节点列表；

获得所述客户端对应的节点在所述节点列表中的当前排序位置，以及总注册数量；

根据所述当前排序位置以及所述总注册数量，计算获得所述客户端对应的分片系数。

在客户端启动时，通过SDK注册服务到Zookeeper，Zookeeper能够根据新的注册服务更新节点列表，并对新注册的消息发送广播，SDK在接收到广播后能够查询Zookeeper更新后的节点列表，从而确定客户端对应的节点在节点列表中的当前排序位置，以及总注册数量，根据当前排序位置以及总注册数量，便能够计算获得客户端对应的分片系数，从而达到数据分片的效果。本方案通过Zookeeper，能够实现批处理数据分片的动态、实时扩容，从而提高批处理任务的执行效率，有利于降低开发接入成本和开发难度。

进一步地，所述的在客户端启动时，注册服务到Zookeeper，具体包括：

初始化Zookeeper连接；

通过开源框架与所述Zookeeper建立连接；

监听所述Zookeeper中的自定义持久节点的实时状况。