[发明专利]一种数据分发策略的调整方法、装置及系统

说明书

技术领域

本发明涉及数据处理领域，特别涉及一种数据分发策略的调整方法、装置及系统。

背景技术

流处理的处理模式将数据视为流，源源不断的数据组成了数据流。当新的数据到来时就立刻处理并返回所需的结果。流处理系统则是利用该模式，能够处理大数据量、产生实时、低延迟的响应的数据处理系统。现有的流处理系统，由用户事先确定数据分发策略、定义拓扑图、设置若干个功能不同的后处理单元，完成特定的业务。为了提高系统的并发性，用户需要在设计拓扑图时对各后处理单元进行拷贝或设置各后处理单元的个数，由于现有技术中没有在流数据进行过程中数据分发策略的调整方法，因此后处理单元的数量在流处理业务运行过程中不可改变。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

由于后处理单元的数量由用户在设计时设定，在流处理系统运行过程中不可改变，而在流处理系统运行的过程中，数据的输入量是动态变化的，因此当某一时间段内的数据输入量大时，设计时期确定的后处理单元的并发数不足以处理当前的大数据量，从而影响的系统的吞吐量；而当某一时间段内的数据量小时，设计时期确定的后处理单元的数过多，占用了过多的系统资源，造成了资源的浪费。如果要调整后处理单元数量需要将现有运行拓扑停止运行，修改并发参数，调整数据分发策略，并重新提交业务拓扑，这样导致业务中断，影响业务体验。

发明内容

为了解决已有技术的问题，本发明实施例提供了一种数据分发策略的调整方法、装置及系统。所述技术方案如下：

第一方面，提供了一种数据分发策略的调整方法，用于处理流处理系统中的流处理业务的数据，所述流处理系统包括控制装置及至少一个工作装置，每个工作装置设置多个后处理单元对接收到的流处理业务的数据进行并行处理，所述方法包括：所述控制装置获取各所述每个工作装置的资源使用报告；所述控制装置根据所述每个工作装置的资源使用报告及预设的策略，确定处理单元调整策略所述处理单元调整策略包括增加后处理单元数量或者减少后处理单元数量；所述控制装置从所述至少一个工作装置中选择至少一个工作装置作为所述处理单元调整策略的执行者；所述控制装置生成包括所述处理单元调整策略的调整指示，并将所述调整指示发送所述被选择的至少一个工作装置，以使得所述被选择的至少一个工作装置执行所述调整策略。

结合第一方面，在第一方面的第一种可能的实现方式中，所述预设的策略包括：当至少一个工作装置的资源使用报告中的指定参数超过指定阈值时，增加后处理单元的数量；或者，当至少一个工作装置的资源使用报告中的指定参数低于指定阈值时，减少后处理单元的数量；其中，所述资源使用报告中的指定参数，包括如下一个或多个参数：CPU使用率、内存使用率、吞吐量或事件延迟时间。

结合第一方面，在第一方面的第二种可能的实现方式中，所述方法还包括：所述被选择的至少一个工作装置接收所述调整指示；所述被选择的至少一个工作装置根据所述调整指示包含的处理单元调整策略，增加或者减少自身设置的后处理单元的数量。

结合第一方面、第一方面的第一种、第二种或第三种可能的视线方式，在第一方面的第三种可能的实现方式中，被选择的至少一个工作装置根据所述调整指示包含的处理单元调整策略，增加或者减少自身设置的后处理单元的数量，包括：所述被选择的至少一个工作装置根据处理单元增加策略，创建并启动新的后处理单元；或者，所述被选择的至少一个工作装置根据处理单元减少策略，销毁指定的后处理单元。

结合第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，所述被选择的至少一个工作装置根据处理单元增加策略，创建并启动新的后处理单元，包括：所述被选择的至少一个工作装置确定已创建的后处理单元的窗口类型；若所述已创建的后处理单元包含滚动窗口，创建并启动包含滚动窗口的新的后处理单元，若所述已创建的后处理单元包含滑动窗口，创建并启动包含滑动窗口的新的后处理单元。

结合第一方面的第四种可能的实现方式，在第一方面的第五种可能的实现方式中，所述被选择的至少一个工作装置和/或未被选择的工作装置上还设置先处理单元，所述方法还包括：所述先处理单元更新与其相关的后处理单元的信息；所述先处理单元根据所述更新后的后处理单元的信息，确定新的分发策略，所述新的分发策略用于指示所述先处理单元将所述流处理业务的数据分发到已创建的后处理单元及所述新的后处理单元。