[发明专利]一种任务处理方法、设备及介质

说明书

本发明实施例公开了一种任务处理方法、设备及介质。其中，任务处理方法，包括：根据目标任务中的各算子，生成与目标任务匹配的响应方法序列，响应方法序列中包括至少一级响应方法；所述响应方法中包括至少一个同步算子，和/或至少一个异步算子，异步算子在数据处理过程中，能够实时接收相邻前一算子的执行结果，或者向相邻后一算子发送当前异步算子的执行结果；从与所述目标任务匹配的输入流中获取源数据，并调用响应方法序列中包括的各响应方法，对所述源数据进行处理。本发明实施例的技术方案，实现了通过设置异步算子提高任务处理的并发度，提升流计算的效率。

技术领域

本发明实施例涉及计算机技术，尤其涉及一种任务处理方法、设备及介质。

背景技术

随着信息技术的快速发展，在互联网、金融以及运营商等领域每天会产生大量原始数据，后期需要对这些原始数据进行处理和统计。在传统的数据处理中，往往先将原始数据存储至数据库，在数据库中对数据进行查询统计，但是这种数据处理方式无法满足对数据处理实时性有需求的业务场景，例如，金融行业的实时风控，以及运营商的广告推送等。

现有技术中，为了实现数据的实时处理，一般采用分布式任务处理技术，在流计算处理中，会通过编译生成一个执行计划，该执行计划通常是一个有向无环图(DirectedAcyclic Graph，DAG)，执行单元会将DAG中的算子切分成一个或多个子任务，最终针对每个子任务开启一个线程去执行，这种处理方式会带来一些问题：一方面，随着子任务数量或者复杂度的增加，需要开启的线程数量也越多，容易对服务器造成较大的管理和调度压力；另一方面，处理模型以下游算子拉取上游算子输出数据的方式运行，只有下游算子需要数据才会触发上游算子的计算，无法同步处理上下游数据，造成性能瓶颈。

发明内容

本发明实施例提供一种任务处理方法、设备及介质，通过设置异步算子提高任务处理的并发度，提升流计算的效率。

第一方面，本发明实施例提供了一种任务处理方法，所述方法包括：

根据目标任务中的各算子，生成与目标任务匹配的响应方法序列，响应方法序列中包括至少一级响应方法；

所述响应方法中包括至少一个同步算子，和/或至少一个异步算子，所述异步算子在数据处理过程中，能够实时接收相邻前一算子的执行结果，或者向相邻后一算子发送当前异步算子的执行结果；

从与所述目标任务匹配的输入流中获取源数据，并调用响应方法序列中包括的各响应方法，对所述源数据进行处理。

第二方面，发明实施例提供了一种任务处理方法，应用于分布式流处理平台中，所述分布式流处理平台包括多个执行节点，所述方法包括：

将完整任务进行拆分处理，得到至少一个目标任务，从数据源获取与所述完整任务对应的源数据，并将所述源数据分发至与各所述目标任务对应的输入流中；

将各所述目标任务分配至匹配的执行节点，并通过各所述执行节点执行本发明任意实施例提供的任务处理方法，对所分配的目标任务进行处理。

第三方面，本发明实施例还提供了一种计算机设备，包括处理器和存储器，存储器用于存储指令，当指令执行时使得处理器执行以下操作：

根据目标任务中的各算子，生成与目标任务匹配的响应方法序列，响应方法序列中包括至少一级响应方法；

所述响应方法中包括至少一个同步算子，和/或至少一个异步算子，所述异步算子在数据处理过程中，能够实时接收相邻前一算子的执行结果，或者向相邻后一算子发送当前异步算子的执行结果；

从与所述目标任务匹配的输入流中获取源数据，并调用响应方法序列中包括的各响应方法，对所述源数据进行处理。

第四方面，本发明实施例还提供了一种计算机设备，包括处理器和存储器，存储器用于存储指令，当指令执行时使得处理器执行以下操作：