[发明专利]面向高通量数据流的分布式索引结构及负载均衡方法

权利要求书

1.一种面向高通量数据流的分布式索引结构及负载均衡方法，其特征在于，所述方法包括以下过程：高通量数据流的接收，底层索引构建和发布，顶层索引构建和发布，数据流和分布式索引的高效存储，查询处理，集群负载均衡，提供高并发的近实时查询服务。

2.如权利要求1所述的面向高通量数据流的分布式索引结构及负载均衡方法，其特征在于：采用了两层的分布式索引结构，最底层是基于流元组的B+树索引，顶层是基于数据源时间窗口的索引。

3.如权利要求1或2所述的面向高通量数据流的分布式索引结构及负载均衡方法，其特征在于：分布式集群包括数据流接收节点、一级协调结点、二级协调结点、查询节点、存储节点五种节点，所述数据流接收节点负责数据流的接收和排序；一级协调结点负责数据流接收节点、查询节点、存储节点、二级协调节点的负载均衡，顶层索引的构建及发布，查询请求的发布；二级协调节点负责数据流指针的接收，底层索引的构建及分发；查询节点负责底层索引和顶层索引的存储，查询处理；存储节点负责数据流、底层索引和顶层索引的持久化存储。

4.如权利要求3所述的面向高通量数据流的分布式索引结构及负载均衡方法，其特征在于：分布式索引的构建步骤包括：

1)根据负载均衡策略由指定的数据流接收节点实时接收和缓存流元组，并对流元组进行归并排序；

2)数据流接受节点将数据流指针发布至负载均衡策略指定的二级协调节点；

3)二级协调节点构建底层索引，并将其发布到负载均衡策略指定的查询节点；

4)一级协调节点根据本地存储的底层索引对应的时间及存储位置完成顶层索引的插入构建，并以广播的形式将顶层索引分发到所有查询节点；

5)数据流元组初始缓存在数据流接收节点，在特定条件下将数据迁移到指定的存储节点上，数据迁移结束后，修改二级协调结点和查询节点上底层索引中指向流元组的指针，底层索引初始缓存在查询节点，在特定条件下将底层索引迁移到指定的存储节点上，底层索引迁移结束后，修改一级协调节点和查询节点上顶层索引中指向底层索引根节点的指针。

5.如权利要求3所述的面向高通量数据流的分布式索引结构及负载均衡方法，其特征在于：流元组查询的步骤包括：

1)一级协调节点根据负载均衡策略将查询请求转发到相应的查询节点；

2)查询节点响应查询请求，利用分布式索引定位流元组，若流元组不存在，则直接返回；若存在，到流元组所在节点的相应位置获取数据并返回。

6.如权利要求4所述的面向高通量数据流的分布式索引结构及负载均衡方法，其特征在于：为了提高分布式索引构建和分发效率，且集群各种节点存储和处理能力有限，无法应对快速增长的数据流应用场景，数据流和分布式索引初始分别缓存在数据流接收节点和查询节点中，在数据流流速较快、节点内存紧张、节点数据处理能力不够条件下触发数据迁移，将数据流和分布式索引从数据流接收节点和查询节点迁移到存储节点中。

7.如权利要求4所述的面向高通量数据流的分布式索引结构及负载均衡方法，其特征在于：为了实现数据流接收和排序的负载均衡、底层索引构建和发布的负载均衡、数据流和分布式索引持久化存储的负载均衡、以及查询处理的负载均衡，即实现数据流接受节点间的负载均衡、二级协调节点间的负载均衡、查询节点间的负载均衡和存储节点间的负载均衡，本方案选取数据流接收节点的十四个参数作为性能评价指标，选取二级协调节点的十一个参数作为性能评价指标，选取查询节点的十九个参数作为性能评价指标，选取存储节点的十三个参数作为性能评价指标。