[发明专利]基于分布式流计算的背压处理方法和系统

权利要求书

1.一种基于分布式流计算的背压处理方法，其特征在于，包括：

接收上游计算节点发送的流数据并存储于流数据池中，所述流数据池中的流数据在本地进行流计算时被消耗；统计所述流数据池中的流数据占所述流数据池的总容量的数据占比；

若统计的所述数据占比大于或等于第一阈值，且固定的时间段内所述数据占比大于或等于所述第一阈值的时间占比大于或等于预设占比，则调高所述第一阈值，重置所述时间占比，并执行增加背压标记的操作；当执行所述增加背压标记的操作时，若所述上游计算节点当前流数据发送速率大于或等于预设值，所述上游计算节点减少流数据发送速率；

若统计的所述数据占比大于或等于第一阈值，且固定的时间段内所述数据占比大于或等于第一阈值的时间占比小于所述预设占比，则执行增加背压标记的操作；

若统计的所述数据占比小于或等于第二阈值，且所述第一阈值已被调高，则调低所述第一阈值，重置所述时间占比，并执行删除所述背压标记的操作；所述删除所述背压标记的操作用于使所述上游计算节点提高流数据发送速率；所述第二阈值小于所述第一阈值；

当执行所述增加背压标记的操作时，若所述上游计算节点当前流数据发送速率小于所述预设值，且若当前计算节点及其并行的计算节点中执行所述增加背压标记的操作的计算节点数量占比达到预设比例，则增设与当前计算节点并行的计算节点。

2.根据权利要求1所述的方法，其特征在于，所述第一阈值被调整时，所述第二阈值跟随所述第一阈值同步调整。

3.根据权利要求2所述的方法，其特征在于，所述第一阈值被调整时，所述第二阈值跟随所述第一阈值同步调整包括：

在调高所述第一阈值时，同步调高所述第二阈值；

在调低所述第一阈值时，同步调低所述第二阈值。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若统计的所述数据占比小于或等于所述第二阈值，且所述第一阈值未被调高，则执行所述删除所述背压标记的操作。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述上游计算节点在降低所述流数据发送速率时，增加流数据发送时间间隔；所述流数据发送时间间隔与单条流数据平均耗时正相关。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述上游计算节点在提高所述流数据发送速率时，减少流数据发送时间间隔。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取当前计算节点的下游计算节点各自的流数据池中流数据占相应流数据池的总容量的数据占比；

确定获取的下游计算节点各自的数据占比的大小关系；

根据所述大小关系对所述下游计算节点进行负载均衡。