[发明专利]一种数据处理流程优化方法、系统及存储介质

权利要求书

1.一种数据处理流程优化方法，其特征在于，所述方法包括如下步骤：

为预处理任务、推理任务和后处理任务分别添加标识；

根据所述标识分别确定所述预处理任务、所述推理任务和所述后处理任务的运行时长；

根据所述运行时长分别估算所述预处理任务、所述推理任务和所述后处理任务所需的线程数量；

根据所述线程数量分别将所述预处理任务、所述推理任务和所述后处理任务划分为若干线程；

通过所述线程执行数据处理操作；

所述运行时长包括第一运行时长、第二运行时长和第三运行时长；所述第一运行时长是所述预处理任务的运行时长，第三运行时长是所述后处理任务的运行时长；

所述推理任务包括至少一个推理子任务，获取每个所述推理子任务的子任务运行时长，根据所述子任务运行时长降序排列，将排序第一的所述子任务运行时长作为所述第二运行时长；

所述根据所述运行时长分别估算所述预处理任务、所述推理任务和所述后处理任务所需的线程数量步骤进一步包括：

根据所述运行时长计算运行时长比率；

根据所述运行时长比率计算冗余系数；

根据所述运行时长比率和所述冗余系数分别估算所述预处理任务、所述推理任务和所述后处理任务所需的线程数量；

所述根据所述运行时长计算运行时长比率步骤进一步包括：

根据所述第一运行时长和所述第二运行时长计算所述预处理任务对应的第一运行时长比率；

根据所述第三运行时长和所述第二运行时长计算所述后处理任务对应的第三运行时长比率；

所述根据所述运行时长比率计算冗余系数步骤进一步包括：

根据所述第一运行时长比率计算所述预处理任务对应的第一冗余系数；

根据所述第三运行时长比率计算所述后处理任务对应的第三冗余系数；

所述根据所述运行时长比率和所述冗余系数分别估算所述预处理任务、所述推理任务和所述后处理任务所需的线程数量步骤进一步包括：

根据所述第一运行时长比率和所述第一冗余系数估算所述预处理任务所需的线程数量；

根据预设规则估算所述推理任务所需的线程数量；

根据所述第三运行时长比率和所述第三冗余系数估算所述后处理任务所需的线程数量；

所述预处理任务所需的线程数量表示为：ceil(T0/T+0.1*(T0/T)^2)

其中，T0表示第一运行时长，T表示第二运行时长；ceil()为返回大于或者等于指定表达式的最小整数的函数；

所述推理任务所需的线程数量等于推理子任务数量；

后处理任务所需的线程数量表示为：ceil(T1/T+0.1*(T1/T)^2)

其中，T1表示第三运行时长。

2.根据权利要求1所述的数据处理流程优化方法，其特征在于，所述根据所述线程数量分别将所述预处理任务、所述推理任务和所述后处理任务划分为若干线程步骤还包括：

在所述预处理任务和所述推理任务之间设置第一队列，使所述预处理任务和所述推理任务通过所述第一队列进行数据通信；

在所述后处理任务和所述推理任务之间设置第二队列，使所述后处理任务和所述推理任务通过所述第二队列进行数据通信。