[发明专利]流式计算中迟滞数据的处理系统、设备以及方法

权利要求书

1.一种流式计算中迟滞数据的处理系统，其特征在于，所述系统包括第一级水位线模块、第二级水位线模块、算子处理模块以及结果保存模块；

其中，所述第一级水位线模块，用于当第一级水位线的时间戳到达时，触发所述算子处理模块以对第一迟滞数据进行处理得到第一计算结果信息，并将所述第一计算结果保存至所述结果保存模块；

所述第二级水位线模块，用于当第二级水位线的时间戳到达时，触发所述算子处理模块以对第二迟滞数据进行处理得到第二计算结果信息，并将所述第二计算结果保存至所述结果保存模块；

所述结果保存模块，用于对所述第一计算结果以及所述第二计算结果进行数据整合后输出。

2.根据权利要求1所述的系统，其特征在于，所述第二级水位线模块包括：

水位线调整模块，用于根据源端数据流和第一级水位线调整第二级水位线；

其中，所述水位线调整模块包括：

数据流入确定模块，用于根据源端的日志产生速度或数据产生速度确定源端的数据流入信息；

数据阈值预设模块，用于根据业务方的业务以及流数据的实时要求预先设定一数据阈值；

水位线设置模块，用于根据所述数据流入信息、所述数据阈值设置以及所述第一级水位线调整第二级水位线。

3.根据权利要求1所述的系统，其特征在于，所述算子处理模块包括：

算子判断模块，用于判断所述第二迟滞数据的算子是否属于可补偿算子；

数据处理模块，用于当所述算子判断模块判断为是时，执行所述第二级水位线模块。

4.根据权利要求1所述的系统，其特征在于，所述结果保存模块包括：

第一保存模块，用于保存第一计算结果信息；

第二保存模块，用于保存第二计算结果信息；

数据整合模块，用于将相同时间窗口以及相同算子对应的所述第一计算结果信息以及所述第二计算结果信息进行数据整合后输出。

5.一种流式计算中迟滞数据的处理方法，其特征在于，该方法应用于权利要求1至4任意一项所述流式计算中迟滞数据的处理系统，包括：

当第一级水位线的时间戳到达时，第一级水位线模块触发算子处理模块以对第一迟滞数据进行处理得到第一计算结果信息，并将所述第一计算结果保存至结果保存模块；

当第二级水位线的时间戳到达时，第二级水位线模块触发所述算子处理模块以对第二迟滞数据进行处理得到第二计算结果信息，并将所述第二计算结果保存至所述结果保存模块；

结果保存模块对所述第一计算结果以及所述第二计算结果进行数据整合后输出。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

所述第二级水位线模块根据源端数据流和第一级水位线调整第二级水位线，包括：

所述第二级水位线模块根据源端的日志产生速度或数据产生速度确定源端的数据流入信息；

根据业务方的业务以及流数据的实时要求预先设定一数据阈值；

根据所述数据流入信息、所述数据阈值设置以及所述第一级水位线调整所述第二级水位线。

7.根据权利要求5所述的方法，其特征在于，所述方法还包括：

所述算子处理模块判断所述第二迟滞数据的算子是否属于可补偿算子；

当判断为是时，执行当第二级水位线的时间戳到达时，所述第二级水位线模块触发所述算子处理模块以对第二迟滞数据进行处理得到第二计算结果信息，并将所述第二计算结果保存至所述结果保存模块的步骤。

8.根据权利要求5所述的方法，其特征在于，结果保存模块对所述第一计算结果以及所述第二计算结果进行数据整合包括：

所述结果保存模块将相同时间窗口以及相同算子对应的所述第一计算结果信息以及所述第二计算结果信息进行数据整合。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求5至8任意一项权利要求所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求5至8任意一项权利要求所述的方法。