[发明专利]一种流数据任务处理方法、装置、设备及计算机存储介质

权利要求书

1.一种流数据任务处理方法，其中流数据由多个算子依次进行处理以得到流处理结果数据，并将流处理结果数据输出，其特征包括：

由第一算子获取任务的第一数据包；其中，所述第一数据包由配置数据与第一源数据封装得到；

由所述第一算子从所述第一数据包中获取与其对应的第一配置数据，并根据所述第一配置数据，对所述第一数据包中的第一源数据进行处理，得到第二源数据；

由所述第一算子将所述第二源数据与所述配置数据进行封装得到第二数据包，并将所述第二数据包传递给第二算子。

2.根据权利要求1所述的流数据任务处理方法，其特征在于，由所述第一算子从所述第一数据包中获取与其对应的第一配置数据，包括：

由所述第一算子从所述第一数据包中获取配置文件；

由所述第一算子解析所述配置文件，得到所述配置数据；

由所述第一算子从所述配置数据中获取与所述第一算子对应的第一配置数据。

3.根据权利要求2所述的流数据任务处理方法，其特征在于，所述方法还包括：依据不同的算子，对所述配置数据进行分类并标记。

4.根据权利要求3所述的流数据任务处理方法，其特征在于，包括：

所述第一算子根据所述标记从所述第一数据包中获取与其对应的第一配置数据。

5.根据权利要求1所述的流数据任务处理方法，其特征在于，所述第一算子获取所述任务的第一数据包前，还包括：评估所述任务的需求，并根据评估结果选择对应的算子。

6.根据前述任一权利要求所述的流数据任务处理方法，其特征在于，包括：

由sink算子接收前序算子传来的数据包，根据所述数据包中与所述sink算子对应的配置数据，对所述数据包中包含的源数据进行处理得到结果数据，并输出至目的系统。

7.一种流数据任务处理装置，其中流数据由多个算子依次进行处理以得到流处理结果数据，并将流处理结果数据输出，其特征在于，包括：

第一算子，用于获取任务的第一数据包；其中，所述第一数据包由配置数据与第一源数据封装得到；

所述第一算子从所述第一数据包中获取与其对应的第一配置数据，并根据所述配置数据，对所述第一数据包中的第一源数据进行处理，得到第二源数据；

由所述第一算子将所述第二源数据与所述配置数据进行封装得到第二数据包，并将所述第二数据包传递给第二算子。

8.根据权利要求7所述的流数据任务处理装置，其特征在于，所述第一算子从所述第一数据包中获取与其对应的第一配置数据，包括：

所述第一算子从所述第一数据包中获取配置文件；

所述第一算子解析所述配置文件，得到所述配置数据；

所述第一算子从所述配置数据中获取与所述第一算子对应的第一配置数据。

9.根据权利要求8所述的流数据任务处理装置，其特征在于，所述第一算子还用于：依据不同的算子，对所述配置数据进行分类并标记。

10.根据权利要求9所述的流数据任务处理装置，其特征在于，包括：

所述第一算子还用于，根据所述标记从所述第一数据包中获取与其对应的第一配置数据。

11.根据权利要求7所述的流数据任务处理装置，其特征在于，还包括：任务评估模块，用于评估所述任务的需求，并根据评估结果选择对应的算子。

12.根据前述任一权利要求所述的流数据任务处理装置，其特征在于，还包括：

sink算子，用于接收前序算子传来的数据包，根据所述数据包中与所述sink算子对应的配置数据，对所述数据包中包含的源数据进行处理得到结果数据，并输出至目的系统。