[发明专利]面向Storm连续范围查询全局负载均衡的分组方法及查询方法

说明书

本发明公开了一种面向Storm连续范围查询全局负载均衡的分组方法及查询方法，对网格索引下的连续范围查询，结合范围查询语义，利用Redis存储并负责更新网格内移动对象数量，将查询范围内的移动对象数量作为评估代价，按照查询代价将范围查询任务分到相应的组，同一个组内的范围查询任务轮询地分发到下游worker，轮询计数器由Redis维护，实现全局分组轮询的分组策略，能够根据分组策略有效地提高了系统负载均衡度，从而提高了系统的资源利用率。

技术领域

本发明涉及通信网络技术领域，尤其涉及一种面向Storm连续范围查询全局负载均衡的分组方法及查询方法。

背景技术

随着定位手段的多样化、移动终端的普及与通讯基础设施的完备，以基于位置服务(Location Based Service，LBS)为代表的移动应用已经步入移动大数据时代。移动大数据环境下，数据规模更大、传播速度更快、多样性更加广泛，呈现出鲜明的流式特征，传统LBS技术面临多种新的挑战。基于位置服务的连续范围查询，具有高并发、低延迟特点，因此需要更高效的针对具有流式特征的移动大数据的处理能力。移动大数据时代的数据处理不仅需要存储与处理能力更强更灵活的计算平台，还需依托于计算平台的处理和优化技术。

然而，在分布式系统中普遍存在着著名的“短板理论”，一个系统如果出现了负载不均衡问题，那么负载最大的节点往往将成为影响系统整体表现的瓶颈和短板。由于经济发展，地理位置等因素，人口密度在不同区域是不相同的，相应的，和LBS应用相对应的移动对象在地理分布上也是不均匀的。ApacheStorm本身作为一个分布式流处理系统，系统内部并没有提供有效的负载均衡机制，而且Storm自带的分组策略如Shuffle Grouping、FieldsGrouping都是基于一种通用思想而设计的分组策略，而没有考虑处理的任务所包含的语义，如连续范围查询具有查询范围、移动对象密度、范围重叠等时空语义，移动对象在地理分布上是不均匀的，因而范围查询的代价也不尽相同，这样很容易导致处理范围查询的各计算单元之间的负载不均衡，性能下降，所以Storm自带分组策略也不能满足系统负载均衡的需要，这无疑对整个系统的性能表现是一种挑战,针对云计算环境中的在线流处理的负载均衡研究相对较少，传统的和针对批处理的负载均衡技术无法直接应用到流处理系统中。

发明内容

针对上述问题，本发明的目的在于提供一种面向Storm连续范围查询全局负载均衡的分组方法及查询方法。

为了解决背景技术中所存在的问题，本发明的技术方案为：

一种面向Storm连续范围查询全局负载均衡的分组方法，包括：

1)、获取范围查询信息，所述范围查询信息包括查询范围和网格重叠量；

2)、根据查询范围和网格重叠量，将范围查询分为多个子查询，每个子查询的查询范围只和一个网格重叠；

3)、读取Redis中存储的与子查询查询范围重叠网格中移动对象的密度，并根据子查询的查询范围以及网格中移动对象的密度，计算子查询的代价；

4)、根据查询代价，将子查询映射到相应的组，然后从轮询计数器表中获取该组计数器的值；

5)、根据计数器的值对下游worker的数量取模，得到目标worker id，并将目标worker id下发到下游。

所述步骤2)中根据查询范围和网格重叠量，将范围查询分为多个子查询具体包括：

2.1、设定分组数量，根据分组数量计算第一次分组粒度；

2.2、设定二次分组数量，根据第一次分组粒度和二次分组的数量计算二次分组的粒度，计算公式为：

minGrain＝grain/minGroup