[发明专利]一种调整流处理单元负载分担的方法及装置

说明书

技术领域

本发明涉及负载分担技术，尤指一种调整流处理单元负载分担的方法及装置。

背景技术

参见图1，图1所示为分布式流处理架构的结构示意图，包括流分发单元和多个流处理单元。为了提高网络系统的流处理性能，通常采用图1所示的分布式流处理架构对数据流进行处理。其中，流分发单元用于接收数据，并根据一定的分流策略将收到的数据流发送至流处理单元处理。

为了实现网络系统内流处理单元的负载均衡，流分发单元通常利用HASH算法对收到的数据流进行处理。流分发单元建立如表一所示的流处理单元索引表，该索引表由数据流索引和流处理单元标识两个部分组成，其中数据流索引用来标识数据流，每个数据流索引对应一个流处理单元标识。

  数据流索引  流处理单元标识    0    ID₀    1    ID₁    ...    N-1    ID_N-1

表一

如表一所示，假设当前系统有N个流处理单元，则流分发单元计算数据流索引的具体实现方式为：流分发单元在收到数据流的流首包时，将流首包的五元组作为HASH函数的输入参数得到固定长度的HASH值，将该HASH值对N取余得到该数据流对应的数据流索引。然后，流分发单元依据表一索引得到对应的流处理单元标识，依据该流首包对应的五元组和得到的流处理单元标识建立该数据流的流表，该数据流的后续报文则依据建立的流表发送至对应的流处理单元进行处理。

依据HASH算法的特性，HASH算法能保证计算出来的HASH值是一个固定长度的值，并且当输入参数变化时，计算出来的值在该长度范围内离散随机分布，因此也能保证该HASH值对流处理单元个数N取余后的查表索引在0～N-1的范围内离散随机分布。在流处理单元索引表中的数据流索引和流处理单元标识是一一对应的关系，因此按照上述方法进行分流能够使各流处理单元处理大体相同数目的数据流，实现流处理单元的负载均衡。

虽然，上述现有技术能够实现流处理单元的负载均衡，但没有提供调整各流处理单元分担负载的技术方案。例如在如图2所示的情况下，假定系统原先有三个流处理单元，每个流处理单元上已建流的条数分别为1000。这时在系统中增加一个流处理单元，则此时，对应的流处理单元索引表如表二所示。