[发明专利]分布式预测的方法、装置、系统、电子设备及存储介质

说明书

本公开实施例涉及一种分布式预测的方法、装置、系统、电子设备及存储介质。其中，分布式预测的方法应用于第一节点，具体包括：获取预测任务对应的输入数据；分片输入数据，得到多个分片数据；基于多个分片数据，将预测任务拆分为多个子任务；分配子任务给至少一个计算节点；其中，第一节点和计算节点均部署有Dask框架；计算节点创建有容器，容器中设置有预先训练的模型，且模型基于Dask框架执行分配的子任务，基于分片数据进行预测得到预测结果。本公开实施例基于Dask框架构建Dask+容器的分布式预测方案，通过对数据进行分片，将数据处理过程分为多个子任务，进而将不同子任务分配到不同计算节点进行分布式计算，实现易用且更轻量级的大数据处理。

技术领域

本公开实施例涉及大数据技术领域，具体涉及一种分布式预测的方法、装置、系统、电子设备及非暂态计算机可读存储介质。

背景技术

大数据是一种超出了传统数据库软件工具能力范围的数据集合，具有四个特征：海量的数据规模、快速的数据流转、多样的数据类型和价值密度低。通常来讲，大数据无法用单台的计算机进行处理，须采用分布式计算架构。目前，大数据处理框架多采用Spark(一种用于大规模数据处理的计算引擎)、Hadoop(一种分布式处理基础框架)。

在传统的大数据场景下，通常基于Spark+Hadoop构建分布式计算存储集群。但是搭建Spark+Hadoop集群是一个较大工程，复杂度较高，对于一些公司、实验室或个人，期望基于简易的分布式环境来测试机器学习或深度学习模型，也有部分公司、实验室或个人基于自身业务构建分布式调度方案，但通常需要从底层进行编写，导致易用性及普适性相对较弱。为此，亟需设计更轻量级的、且接近于Spark+Hadoop集群处理的分布式方案。

上述对问题的发现过程的描述，仅用于辅助理解本公开的技术方案，并不代表承认上述内容是现有技术。

发明内容

为了解决现有技术存在的至少一个问题，本公开的至少一个实施例提供了一种分布式预测的方法、装置、系统、电子设备及非暂态计算机可读存储介质。

第一方面，本公开实施例提供一种分布式预测的方法，应用于第一节点，所述第一节点中部署有Dask框架，所述第一节点基于所述Dask框架执行所述方法，所述方法包括：

获取预测任务对应的输入数据；

分片所述输入数据，得到多个分片数据；

基于所述多个分片数据，将所述预测任务拆分为多个子任务，其中，每个分片数据对应一个子任务；

分配所述分片数据对应的子任务给至少一个计算节点；

其中，所述计算节点中部署有所述Dask框架且创建有容器；所述容器中设置有预先训练的模型，且所述模型基于所述Dask框架执行分配的分片数据对应的子任务，基于所述分片数据进行预测得到预测结果。

在一些实施例中，在所述分配所述分片数据对应的子任务给至少一个计算节点后，所述方法还包括：

获取并存储合并结果；其中，所述合并结果为不同计算节点的子任务预测结果的合并结果。

在一些实施例中，所述基于所述多个分片数据，将所述预测任务拆分为多个子任务包括：

基于所述预先训练的模型，构建每个分片数据对应的子任务；

基于每个分片数据对应的子任务，构建任务图；其中，所述任务图中设置有每个分片数据对应的子任务的处理方式；

所述分配所述分片数据对应的子任务给至少一个计算节点包括：

基于所述任务图，分配所述分片数据对应的子任务给至少一个计算节点，且分配的子任务中携带有所述子任务的处理方式。