[发明专利]一种流数据任务处理方法、装置、设备及计算机存储介质

说明书

本申请实施例提供了一种流数据任务处理方法、装置、设备和可读存储介质。方法包括：由第一算子获取任务的第一数据包；其中，所述第一数据包由配置数据与第一源数据封装得到；由所述第一算子从所述第一数据包中获取与其对应的第一配置数据，并根据所述第一配置数据，对所述第一数据包中的第一源数据进行处理，得到第二源数据；由所述第一算子将所述第二源数据与所述配置数据进行封装得到第二数据包，并将所述第二数据包传递给第二算子。本申请实施例的技术方案能够实现在不下线任务的情况下，对计算任务的计算逻辑进行更新，步骤简便且能够满足实时性要求较高的业务的需求。

技术领域

本申请属于计算机技术领域，尤其涉及一种流数据任务处理方法、装置、设备及计算机存储介质。

背景技术

流数据处理广泛应用在网络监控、传感器网络、航空航天、气象测控和金融服务等领域，在实时流计算处理过程中，每一个任务可完成的内容是相对固定的，如果想对实时流的处理逻辑进行修改，传统的做法是需要将任务下线，然后修改代码，再重新编译打包，上线运行。

在基于Flink框架实时计算的一种场景下，如某一条数据需要经过一定的计算触发某个条件，但是这个条件可能是动态更新的，也可能是经过反复计算得出的，如果频繁的改变，就需要频繁的修改代码打包上线，步骤繁琐且对实时性要求较高的业务中往往很难处理。

因此，如何提供一种流数据任务处理方法、装置、设备及计算机存储介质，以解决如何在不下线任务的情况下，对计算任务的计算逻辑进行更新，步骤简单，满足高实时性任务的需求，是本领域技术人员需要解决的技术问题。

发明内容

本申请实施例提供一种流数据任务处理方法、装置、设备及计算机存储介质，能够在不下线任务的情况下，对计算任务的计算逻辑进行更新，且步骤简单。

第一方面，本申请实施例提供一种流数据任务处理方法，其中流数据由多个算子依次进行处理以得到流处理结果数据，并将流处理结果数据输出，方法包括：

由第一算子获取任务的第一数据包；其中，第一数据包由配置数据与第一源数据封装得到；

由第一算子从第一数据包中获取与其对应的第一配置数据，并根据配置数据，对第一数据包中的第一源数据进行处理，得到第二源数据；

由第一算子将第二源数据与配置数据进行封装得到第二数据包，并将第二数据包传递给第二算子。

进一步的，由第一算子从第一数据包中获取与其对应的第一配置数据，包括：

由第一算子从第一数据包中获取配置文件；

由第一算子解析配置文件，得到配置数据；

由第一算子从配置数据中获取与第一算子对应的第一配置数据。

进一步的，方法还包括：依据不同的算子，对配置数据进行分类并标记。

进一步的，第一算子根据标记从第一数据包中获取与其对应的第一配置数据。

进一步的，第一算子获取任务的第一数据包前，还包括：评估任务的需求，并根据评估结果选择对应的算子。

进一步的，由sink算子接收前序算子传来的数据包，根据数据包中与sink算子对应的配置数据，对数据包中包含的源数据进行处理得到结果数据，并输出至目的系统。

第二方面，本申请实施例提供了一种流数据任务处理装置，

其中流数据由多个算子依次进行处理以得到流处理结果数据，并将流处理结果数据输出，装置包括：

第一算子，用于获取任务的第一数据包；其中，第一数据包由配置数据与第一源数据封装得到；