[发明专利]一种基于Zookeeper的异步下载方法及装置

权利要求书

1.一种基于Zookeeper的异步下载方法，其特征在于，所述方法包括：

根据所述m个Hadoop数据源，在Zookeeper中创建m个动态队列，所述m为Hadoop集群中支持查询功能的组件个数，所述m为大于等于1的正整数，对所述m个动态队列的数据下载任务进行并行控制；每个动态队列对应一种数据源；

监听程序实时监听所述m个动态队列的变化情况，根据所述m个动态队列的变化情况，调用与发生变化的动态队列对应的查询组件从相应的数据源进行数据下载；

获取数据下载任务状态及下载后的数据文件。

2.根据权利要求1所述的方法，其特征在于，所述在Zookeeper中创建m个动态队列，包括：

获取所述m个动态队列，每个动态队列包括一个一级节点；所述一个一级节点对应一种查询组件；

当接收到下载请求时，确定与所述下载请求对应的查询组件；

根据所述与所述下载请求对应的查询组件，确定与所述下载请求对应的一级节点；

在所述与下载请求对应的一级节点下，根据接收到所述下载请求的顺序依次创建二级节点；所述二级节点与所述下载请求一一对应。

3.根据权利要求2所述的方法，其特征在在于，所述在所述与下载请求对应的一级节点下，根据接收到所述下载请求的顺序依次创建二级节点还包括：

当任意一个一级节点下存在多个二级节点时，所述多个二级节点的序列号按照创建所述二级节点的顺序依次递增。

4.根据权利要求2所述的方法，其特征在于，所述监听程序实时监听所述m个动态队列的变化情况，根据所述m个动态队列的变化情况，调用与动态队列对应的查询组件进行数据下载，包括：

设置m个监听程序，每个监听程序分别实时监听一个动态队列中的二级节点的变化情况；

当所述二级节点发生变化时，根据Zookeeper发出的通知，获取发生变化的所述二级节点所在所述动态队列中的所有二级节点信息；

获取序列号最小的二级节点；根据所述下载请求，将所述序列号最小的二级节点中存储的数据信息封装成数据量查询语句，通过与一级节点相应的查询组件进行查询；并删除所述序列号最小的二级节点。

5.根据权利要求4所述的方法，其特征在于，所述监听程序实时监听所述m个动态队列的变化情况，根据所述m个动态队列的变化情况，调用与动态队列对应的查询组件进行数据下载，还包括：

当所述查询组件的并发量超过预设阈值时，将监听程序置为等待状态，直至所述查询组件的并发量小于所述预设阈值，继续监听所述m个动态队列的变化情况。

6.一种基于Zookeeper的异步下载装置，其特征在于，所述装置包括：

创建单元，用于根据所述m个Hadoop数据源，在Zookeeper中创建m个动态队列，所述m为Hadoop集群中支持查询功能的组件个数，所述m为大于等于1的正整数，对所述m个动态队列的数据下载任务进行并行控制；每个动态队列对应一种数据源；

监听单元，用于通过监听程序实时监听所述m个动态队列的变化情况，根据所述m个动态队列的变化情况，调用与发生变化的动态队列对应的查询组件从相应的数据源进行数据下载；

获取单元，用于获取数据下载任务状态及下载后的数据文件。

7.根据权利要求6所述的装置，其特征在于，所述创建单元具体用于：

获取所述m个动态队列，每个动态队列包括一个一级节点；所述一个一级节点对应一种查询组件；

当接收到下载请求时，确定与所述下载请求对应的查询组件；

根据所述与所述下载请求对应的查询组件，确定与所述下载请求对应的一级节点；

在所述与下载请求对应的一级节点下，根据接收到所述下载请求的顺序依次创建二级节点；所述二级节点与所述下载请求一一对应。

8.根据权利要求7所述的装置，其特征在在于，所述创建单元，具体用于：

当任意一个一级节点下存在多个二级节点时，所述多个二级节点的序列号按照创建所述二级节点的顺序依次递增。