[发明专利]数据处理方法、装置、电子设备及存储介质

说明书

本公开提供了一种数据处理方法，可以应用于计算机技术领域。该数据处理方法包括：响应于数据处理请求，获取待处理任务；将上述待处理任务按照预设划分规则划分成在不同阶段执行的N个子任务，其中，N≥2，每个上述子任务采用对应的线程池进行处理；利用第i‑1线程池根据第i‑1处理规则对第i‑1子任务进行处理，得到第i‑1处理结果，其中，上述N≥i≥2；以及在上述第i‑1处理结果表征上述第i‑1子任务处理成功的情况下，利用第i线程池根据第i处理规则对第i子任务进行处理。本公开还提供了一种数据处理装置、设备、存储介质。

技术领域

本公开涉及计算机领域，具体地涉及一种数据处理方法、装置、设备、介质和程序产品。

背景技术

数据任务批量处理过程中采用单线程处理存在处理速度慢、任务执行时间长、效率较低等问题。目前，批量处理任务数据一般采用多线程进行分批处理，即通过线程池提供的多个线程将大量任务分割成多个较小的任务批次，实现多线程同时处理，以此加快数据处理速度。

相关技术中至少存在以下问题：现有的多线程处理方法为每个线程循环执行与之对应的任务批次中的单个任务。但是对于单个任务流程较长，且单个任务流程中存在较复杂的处理节点时，采用上述多线程处理方法仍存在效率较低的技术问题。

发明内容

鉴于上述问题，本公开提供了一种数据处理方法、装置、设备、介质和程序产品。

根据本公开的第一个方面，提供了一种数据处理方法，包括：

响应于数据处理请求，获取待处理任务；

将上述待处理任务按照预设划分规则划分成在不同阶段执行的N个子任务，其中，N≥2，每个上述子任务采用对应的线程池进行处理；

利用第i-1线程池根据第i-1处理规则对第i-1子任务进行处理，得到第i-1处理结果，其中，上述N≥i≥2；以及

在上述第i-1处理结果表征上述第i-1子任务处理成功的情况下，利用第i线程池根据第i处理规则对第i子任务进行处理。

根据本公开的实施例，上述待处理任务在不同阶段具有不同的状态码，其中，上述状态码用于指示当前需要执行的目标子任务；

其中，上述利用第i-1线程池根据第i-1处理规则对第i-1子任务进行处理，得到第i-1处理结果包括：

在上述待处理任务当前的状态码为第i-1状态码的情况下，确定当前需要执行上述第i-1子任务；

调用与上述第i-1子任务对应的上述第i-1线程池，以便利用上述第i-1线程池根据上述第i-1处理规则对上述第i-1子任务进行处理。

根据本公开的实施例，上述数据处理方法还包括：

在上述第i-1处理结果表征上述第i-1子任务处理成功的情况下，将上述待处理任务当前的状态码由上述第i-1状态码更新为第i状态码。

根据本公开的实施例，上述数据处理方法还包括：

在上述第i-1处理结果表征上述第i-1子任务处理失败的情况下，发送提示信息。

根据本公开的实施例，上述预设划分规则包括：按照上述待处理任务的处理步骤或上述待处理任务的处理节点进行划分。

根据本公开的实施例，上述处理规则包括以下至少两个：数据校验规则、交易发起规则、状态查询规则、结果更新规则。

本公开的第二方面提供了一种数据处理装置，包括：

获取模块，用于响应于数据处理请求，获取待处理任务；