[发明专利]一种任务处理方法、设备及介质

权利要求书

1.一种任务处理方法，其特征在于，包括：

根据目标任务中的各算子，生成与目标任务匹配的响应方法序列，响应方法序列中包括至少一级响应方法；

所述响应方法中包括至少一个同步算子，和/或至少一个异步算子，所述异步算子在数据处理过程中，能够实时接收相邻前一算子的执行结果，或者向相邻后一算子发送当前异步算子的执行结果；

从与所述目标任务匹配的输入流中获取源数据，并调用响应方法序列中包括的各响应方法，对所述源数据进行处理；

根据目标任务中的各算子，生成与目标任务匹配的响应方法序列，包括：

获取与所述目标任务匹配的算子序列，并从所述算子序列中依次获取一个算子作为当前算子；

如果当前算子为同步算子，则在所述算子序列中获取以所述当前算子为起点的连续同步算子集合，并将所述连续同步算子集合中的各同步算子合并为一个同步算子；

将当前算子的后一算子，或者所述连续同步算子集合的末位算子的后一算子作为新的当前算子后，返回执行从所述算子序列中依次获取一个算子作为当前算子的操作，直至完成对算子序列中全部算子的处理；

根据至少一个同步算子，和/或至少一个异步算子，生成对应的响应方法；

按照各所述响应方法的生成顺序，得到所述响应方法序列。

2.根据权利要求1所述的方法，其特征在于，在根据目标任务中的各算子，生成与目标任务匹配的响应方法序列之后，还包括：

针对各响应方法中包含的异步算子，生成与所述异步算子对应的异步等待队列，所述异步等待队列用于存放所述异步算子执行IO任务时获取的至少一个异步等待对象。

3.根据权利要求1-2任一项所述的方法，其特征在于，调用响应方法序列中包括的各响应方法，对所述源数据进行处理，包括：

通过目标处理线程调用响应方法序列中包括的各响应方法，对所述源数据进行处理，其中，所述目标处理线程预先与所述目标任务进行绑定。

4.一种任务处理方法，其特征在于，应用于分布式流处理平台中，所述分布式流处理平台包括多个执行节点，其特征在于，所述方法包括：

将完整任务进行拆分处理，得到至少一个目标任务，从数据源获取与所述完整任务对应的源数据，并将所述源数据分发至与各所述目标任务对应的输入流中；

将各所述目标任务分配至匹配的执行节点，并通过各所述执行节点执行权利要求1-3任一项所述的方法，对所分配的目标任务进行处理。

5.根据权利要求4所述的方法，其特征在于，从数据源获取与所述完整任务对应的源数据，包括：

通过泵站从所述数据源获取与所述完整任务对应的源数据；

根据所述源数据与各目标任务的对应关系，将所述源数据分发至与各所述目标任务对应的输入流中。

6.根据权利要求4所述的方法，其特征在于，在将完整任务进行拆分处理，得到至少一个目标任务之后，还包括：

将所述至少一个目标任务分别与各执行节点预先开启的设定数量的任务处理线程进行绑定，其中一个目标任务对应一个任务处理线程，一个任务处理线程对应至少一个目标任务。

7.根据权利要求6所述的方法，其特征在于，在通过各所述执行节点对所分配的目标任务进行处理时，还包括：

通过中继器获取所述目标任务所属的目标处理线程对应的任务数量以及所述目标任务包含的异步算子对应的异步等待队列中包含的执行结果数量；

当所述执行结果数量超过第一阈值，和/或所述任务数量超过第二阈值，则暂停获取源数据。

8.根据权利要求4所述的方法，其特征在于，在通过各所述执行节点对所分配的目标任务进行处理时，还包括：

通过阻塞监控器，获取目标任务包含的各响应方法的执行时间；

当至少一个响应方法的执行时间超过设定时间阈值时，生成预警提示信息，以对运维人员进行阻塞提示。