[发明专利]面向高通量数据流的分布式索引结构及负载均衡方法

说明书

一种面向高通量数据流的分布式索引结构及负载均衡方法，所述方法包括以下过程：高通量数据流的接收，底层索引构建和发布，顶层索引构建和发布，数据流和分布式索引的高效存储，查询处理，集群负载均衡，提供高并发的近实时查询服务。本发明提出一种面向多源、高通量大数据流的分布式索引结构及负载均衡方法，实现多源、高通量大数据流的接收，对海量数据流快速构建索引并高效存储，提供高并发的近实时查询服务，对分布式集群各节点实现负载均衡。

技术领域

本发明涉及高通量数据流分布式存储、索引构建与查询技术，涉及一种以高通量数据流为背景的负载均衡方法。

背景技术

近年来，流式数据广泛存在于互联网、工业物联网和个人健康监测等各种应用场景中。流式数据即为数据流元组(简称流元组)的无序序列，即为数据流。本发明中涉及对数据流的分布式存储和查询，流元组形式为stts，st，其中“stts”指流元组的时间戳，“st”指流元组具体代表的内容，并涉及数据流分布式存储和查询过程中的分布式节点间的负载均衡。

数据流具有实时性、突发性、无限性和易失性，使得数据流实时存储问题对于数据流管理来说仍是一大难题。同时，对数据流构建合适的索引至关重要，方便对海量数据流的后续的即时查询以及深度分析。现有研究人员针对传感器网络中异构数据流构建位图索引，但是其应用场景具有一定的局限性。基于时间窗口的数据流管理和分析处理是重要的应用场景之一，如高铁列车数据流。一辆高铁列车上装有一千多个传感器实时监测列车的运行状态，其数据流呈现无限性，因此需要对每个时间段的数据进行存储、管理、处理和分析，本发明可以处理该场景下的数据流的存储和查询。

在多源、高通量数据流背景下，单台机器无法完成数据流接收、索引构建、数据存储、查询请求实时响应，所以本发明提出分布式场景下的解决方案以及集群负载均衡策略。负载均衡，其含义就是指将负载(工作任务)进行均衡分摊到多个操作单元上，协同完成工作任务。负载均衡可以通过软件或者硬件来实现，分别称为软件负载均衡和硬件负载均衡。根据负载均衡实现的位置，又可以分为本地负载均衡和全局负载均衡，用以确定负载均衡覆盖的服务器的范围。本发明可以处理分布式场景下的数据流接收节点、索引构建节点、数据存储节点和查询请求响应节点的负载均衡。

发明内容

针对以上问题，本发明提出一种面向多源、高通量大数据流的分布式索引结构及负载均衡方法，实现多源、高通量大数据流的接收，对海量数据流快速构建索引并高效存储，提供高并发的近实时查询服务，对分布式集群各节点实现负载均衡。

本发明解决其技术问题所采用的技术方案是：

一种面向高通量数据流的分布式索引结构及负载均衡方法，所述方法包括以下过程：高通量数据流的接收，底层索引构建和发布，顶层索引构建和发布，数据流和分布式索引的高效存储，查询处理，集群负载均衡，提供高并发的近实时查询服务。

进一步，采用了两层的分布式索引结构，最底层是基于流元组的B+树索引，顶层是基于数据源时间窗口的索引。

再进一步，分布式集群包括数据流接收节点、一级协调结点、二级协调结点、查询节点、存储节点五种节点，所述数据流接收节点负责数据流的接收和排序；一级协调结点负责数据流接收节点、查询节点、存储节点、二级协调节点的负载均衡，顶层索引的构建及发布，查询请求的发布；二级协调节点负责数据流指针的接收，底层索引的构建及分发；查询节点负责底层索引和顶层索引的存储，查询处理；存储节点负责数据流、底层索引和顶层索引的持久化存储。

更进一步，分布式索引的构建步骤包括：

1)根据负载均衡策略由指定的数据流接收节点实时接收和缓存流元组，并对流元组进行归并排序；

2)数据流接受节点将数据流指针发布至负载均衡策略指定的二级协调节点；

3)二级协调节点构建底层索引，并将其发布到负载均衡策略指定的查询节点；