[发明专利]分布式预测的方法、装置、系统、电子设备及存储介质

权利要求书

1.一种分布式预测的方法，其特征在于，应用于第一节点，所述第一节点中部署有Dask框架，所述第一节点基于所述Dask框架执行所述方法，所述方法包括：

获取预测任务对应的输入数据；

分片所述输入数据，得到多个分片数据；

基于所述多个分片数据，将所述预测任务拆分为多个子任务，包括：基于预先训练的模型，构建每个分片数据对应的子任务；基于每个分片数据对应的子任务，构建任务图；其中，所述任务图中设置有每个分片数据对应的子任务的处理方式；其中，每个分片数据对应一个子任务；

基于所述任务图，分配所述分片数据对应的子任务给至少一个计算节点，且分配的子任务中携带有所述子任务的处理方式；其中，所述计算节点中部署有所述Dask框架且创建有容器；所述容器中设置有所述预先训练的模型，且所述模型基于所述Dask框架执行分配的分片数据对应的子任务，基于所述分片数据进行预测得到预测结果。

2.根据权利要求1所述的方法，其特征在于，在所述分配所述分片数据对应的子任务给至少一个计算节点后，所述方法还包括：

获取并存储合并结果；其中，所述合并结果为不同计算节点的子任务预测结果的合并结果。

3.根据权利要求1所述的方法，其特征在于，所述任务图中还包括：每个分片数据对应的子任务之间的依赖关系。

4.根据权利要求1所述的方法，其特征在于，所述任务图中还包括：用于合并每个分片数据对应的子任务预测结果的子任务以及用于存储合并结果的子任务。

5.根据权利要求1所述的方法，其特征在于，所述分配所述分片数据对应的子任务给至少一个计算节点后，所述方法还包括：

若任一计算节点的子任务处理失败，则记录失败的子任务，并将失败的子任务重新分配至可运行的计算节点。

6.根据权利要求1所述的方法，其特征在于，所述分配所述分片数据对应的子任务给至少一个计算节点后，所述方法还包括：

记录已完成的子任务，基于记录的已完成的子任务，确定待完成的子任务，并将所述待完成的子任务分配给至少一个计算节点。

7.根据权利要求2所述的方法，其特征在于，所述存储合并结果包括：将所述合并结果保存至对象存储系统。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述第一节点的运行中间状态记录在Redis数据库中。

9.根据权利要求1至8任一项所述的方法，其特征在于，所述第一节点和所述计算节点为Pod节点；

在所述获取预测任务对应的输入数据前，所述方法还包括：

获取所述第一节点对应的Dask镜像文件；

基于所述Dask镜像文件，在所述第一节点中，部署所述Dask框架。

10.一种分布式预测的方法，其特征在于，应用于计算节点，所述计算节点中部署有Dask框架且创建有容器，所述容器中设置有预先训练的模型，所述计算节点基于所述Dask框架执行所述方法，所述方法包括：

接收第一节点分配的分片数据对应的子任务；其中，所述第一节点中部署有Dask框架，所述第一节点基于所述Dask框架，获取预测任务对应的输入数据，并分片所述输入数据得到多个分片数据，基于所述预先训练的模型，构建每个分片数据对应的子任务；基于每个分片数据对应的子任务，构建任务图，所述任务图中设置有每个分片数据对应的子任务的处理方式；并基于所述任务图，分配所述分片数据对应的子任务给至少一个计算节点，且分配的子任务中携带有所述子任务的处理方式；

基于所述Dask框架通过所述模型执行分配的分片数据对应的子任务，基于所述分片数据进行预测得到预测结果。

11.根据权利要求10所述的方法，其特征在于，所述通过所述模型执行分配的分片数据对应的子任务包括:

基于所述子任务的处理方式，通过所述模型执行分配的分片数据对应的子任务。