[发明专利]一种数据分发策略的调整方法、装置及系统

权利要求书

1.一种数据分发策略的调整方法，其特征在于，用于处理流处理系统中的流处理业务的数据，所述流处理系统包括控制装置及至少一个工作装置，每个工作装置设置多个后处理单元对接收到的流处理业务的数据进行并行处理，所述方法包括：

所述控制装置获取所述每个工作装置的资源使用报告；

所述控制装置根据所述每个工作装置的资源使用报告及预设的策略，确定处理单元调整策略，所述处理单元调整策略包括增加后处理单元数量或者减少后处理单元数量；

所述控制装置从所述至少一个工作装置中选择至少一个工作装置作为所述处理单元调整策略的执行者；

所述控制装置生成包括所述处理单元调整策略的调整指示，并将所述调整指示发送给所述被选择的至少一个工作装置；

所述被选择的至少一个工作装置根据所述调整指示包含的处理单元调整策略，增加或者减少自身设置的后处理单元的数量；

所述被选择的至少一个工作装置根据所述调整指示包含的处理单元调整策略，增加自身设置的后处理单元的数量，包括：

所述被选择的至少一个工作装置根据处理单元增加策略，创建并启动新的后处理单元；

所述被选择的至少一个工作装置根据处理单元增加策略，创建并启动新的后处理单元包括：

所述被选择的至少一个工作装置确定已创建的后处理单元的窗口类型；

若所述已创建的后处理单元包含滚动窗口，创建并启动包含滚动窗口的新的后处理单元，若所述已创建的后处理单元包含滑动窗口，创建并启动包含滑动窗口的新的后处理单元。

2.根据权利要求1所述的方法，其特征在于，所述预设的策略包括：当至少一个工作装置的资源使用报告中的指定参数超过指定阈值时，增加后处理单元的数量；或者，

当至少一个工作装置的资源使用报告中的指定参数低于指定阈值时，减少后处理单元的数量；

其中，所述资源使用报告中的指定参数，包括如下一个或多个参数：CPU使用率、内存使用率、吞吐量或事件延迟时间。

3.根据权利要求1至2任一项所述的方法，其特征在于，所述被选择的至少一个工作装置根据所述调整指示包含的处理单元调整策略，减少自身设置的后处理单元的数量，包括：

所述被选择的至少一个工作装置根据处理单元减少策略，销毁指定的后处理单元。

4.根据权利要求1所述的方法，其特征在于，所述被选择的至少一个工作装置和/或未被选择的工作装置上还设置先处理单元，所述方法还包括：

所述先处理单元更新与其相关的后处理单元的信息；

所述先处理单元根据所述更新后的后处理单元的信息，确定新的分发策略，所述新的分发策略用于指示所述先处理单元将所述流处理业务的数据分发到已创建的后处理单元及所述新的后处理单元。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

所述先处理单元确定所述新的后处理单元的窗口类型，当所述新的后处理单元包含滚动窗口时，所述先处理单元获取处理结束指示，所述处理结束指示用于表明所述已创建的后处理单元处理完毕当前滚动窗口的流处理业务的数据；

所述先处理单元在获取到所述处理结束指示后，根据所述新的分发策略发送所述流处理业务的数据到所述已创建的后处理单元和所述新的后处理单元。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

所述先处理单元确定所述新的后处理单元的窗口类型，当所述新的后处理单元包含滑动窗口时，所述先处理单元启动缓冲时间，在所述缓冲时间内根据旧的分发策略和所述新的分发策略分发所述流处理业务的数据，并对分发的数据进行标记，以使得所述已创建的后处理单元及所述新的后处理单元根据所述标记进行处理。

7.根据权利要求6所述的方法，其特征在于，所述对分发的数据进行标记，以使得后处理单元根据所述标记进行处理包括：

当所述流处理业务的数据按照旧分发策略分发时，若接收所述数据的后处理单元与按照所述新分发策略分发的后处理单元相同，则为所述数据增加保持标记，否则为所述数据增加预删标记；

当所述流处理业务的数据按照所述新的分发策略分发时，若接收所述数据的后处理单元与按照所述旧分发策略分发的后处理单元相同，则为所述数据增加保持标记，否则为所述数据增加预增标记。