[发明专利]一种数据处理流程优化方法、系统及存储介质

说明书

本发明公开了一种数据处理流程优化方法，包括如下步骤：第一步，为预处理任务、推理任务和后处理任务分别添加标识；第二步，根据标识分别确定预处理任务、推理任务和后处理任务的运行时长；根据运行时长分别估算预处理任务、推理任务和后处理任务所需的线程数量；第三步，根据线程数量分别将预处理任务、推理任务和后处理任务划分为若干线程；通过若干线程执行数据处理操作，无需等待；通过上述方式，本发明实现了对数据处理流程的优化，提高了计算效率和硬件资源利用率。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据处理流程优化方法、系统及存储介质。

背景技术

数据处理任务包括预处理任务、推理任务和后处理任务；在实际应用中，现有技术的处理设备是CPU+GPU的异构服务器；其中，预处理任务由CPU完成，推理任务由GPU完成，后处理任务由CPU或GPU完成；而现有的处理流程为串行处理，按照预处理任务、推理任务和后处理任务的顺序依次调用设备进行处理；现有技术的缺陷在于处理时需要等待前一个任务完成，导致处理效率低、处理时间长。

发明内容

本发明主要解决的技术问题是提供一种数据处理流程优化方法、系统及存储介质，能够解决数据处理流程计算效率低，计算时间长的问题。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种数据处理流程优化方法，所述方法包括如下步骤：

为预处理任务、推理任务和后处理任务分别添加标识；

根据所述标识分别确定所述预处理任务、所述推理任务和所述后处理任务的运行时长；

根据所述运行时长分别估算所述预处理任务、所述推理任务和所述后处理任务所需的线程数量；

根据所述线程数量分别将所述预处理任务、所述推理任务和所述后处理任务划分为若干线程；

通过所述线程执行数据处理操作。

作为一种改进方案，所述运行时长包括第一运行时长、第二运行时长和第三运行时长；所述第一运行时长是所述预处理任务的运行时长，第三运行时长是所述后处理任务的运行时长；

所述推理任务包括至少一个推理子任务，获取每个所述推理子任务的子任务运行时长，根据所述子任务运行时长降序排列，将排序第一的所述子任务运行时长作为所述第二运行时长。

进一步具体地，所述根据所述运行时长分别估算所述预处理任务、所述推理任务和所述后处理任务所需的线程数量步骤进一步包括：

根据所述运行时长计算运行时长比率；

根据所述运行时长比率计算冗余系数；

根据所述运行时长比率和所述冗余系数分别估算所述预处理任务、所述推理任务和所述后处理任务所需的线程数量。

进一步具体地，所述根据所述运行时长计算运行时长比率步骤进一步包括：

根据所述第一运行时长和所述第二运行时长计算所述预处理任务对应的第一运行时长比率；

根据所述第三运行时长和所述第二运行时长计算所述后处理任务对应的第三运行时长比率。

进一步具体地，所述根据所述运行时长比率计算冗余系数步骤进一步包括：

根据所述第一运行时长比率计算所述预处理任务对应的第一冗余系数；

根据所述第三运行时长比率计算所述后处理任务对应的第三冗余系数。

进一步具体地，所述根据所述运行时长比率和所述冗余系数分别估算所述预处理任务、所述推理任务和所述后处理任务所需的线程数量步骤进一步包括：