[发明专利]基于深度学习框架的任务处理方法、装置、设备及介质

说明书

本申请提供了一种基于深度学习框架的任务处理方法、装置、设备及介质，涉及数据处理技术领域，通过获取用户输入的任务配置信息，任务配置信息包括：至少一个待处理任务的指示，其中，待处理任务为深度学习框架中预配置任务或已注册任务；根据任务配置信息、以及预设的任务逻辑关系，生成至少一个待处理任务的处理逻辑，其中，处理逻辑包括：处理顺序、各待处理任务与其他待处理任务之间的逻辑关系；按照处理逻辑依次处理各待处理任务。通过生成至少一个待处理任务的处理逻辑，根据该处理逻辑依次对至少一个待处理任务进行处理，实现了基于一个深度学习框架对至少一个待处理任务的处理，达到了整体管理的目的，提升执行效率。

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种基于深度学习框架的任务处理方法、装置、设备及介质。

背景技术

在深度学习初始阶段，每个深度学习研究者都需要写大量的重复代码。为了提高工作效率，可以将重复的代码写成了一个框架。在开始深度学习项目时可以通过该框架来实现。

相关技术中，一个框架可以处理一个待处理的任务，当具有多个待处理任务时，需要选择多个框架对多个待处理任务进行处理。

但是，相关技术中，当深度学习框架需要处理多个待处理任务时，缺少整体的管理和执行，执行效率不高。

发明内容

有鉴于此，本申请实施例的目的在于提供一种基于深度学习框架的任务处理方法、装置、设备及介质，用于解决现有技术中处理效率较低的问题。

第一方面，本申请实施例提供了一种基于深度学习框架的任务处理方法，所述方法包括：

获取用户输入的任务配置信息，所述任务配置信息包括：至少一个待处理任务的指示，其中，所述待处理任务为深度学习框架中预配置任务或已注册任务；

根据所述任务配置信息、以及预设的任务逻辑关系，生成至少一个所述待处理任务的处理逻辑，其中，所述处理逻辑包括：处理顺序、各所述待处理任务与其他待处理任务之间的逻辑关系；

按照所述处理逻辑依次处理各所述待处理任务。

可选地，所述方法还包括：

获取用户的注册信息，所述注册信息包括：用户自定义任务或用户自定义模型，其中，所述注册信息符合所述深度学习框架中的用户自定义模板；

根据所述注册信息在所述深度学习框架中对应添加新的已注册任务或新的已注册模型。

可选地，所述根据所述任务配置信息、以及预设的任务逻辑关系，生成至少一个所述待处理任务的处理逻辑，包括：

根据所述任务配置信息、以及预设的任务逻辑关系，生成有向无环图，其中，各所述待处理任务作为所述有向无环图的节点，每个所述节点的标号用于标识处理顺序，所述节点之间的有向箭头用于标识各所述待处理任务的逻辑依赖关系。

可选地，所述根据所述任务配置信息、以及预设的任务逻辑关系，生成有向无环图，包括：

根据所述任务配置信息，调用所述任务配置信息对应的任务实体；

根据所述任务实体以及所述预设的任务逻辑关系，生成有向无环图。

可选地，所述至少一个待处理任务包括下述一项或多项的组合：特征处理、特征编码、模型训练、基于模型的数据预测。

可选地，所述至少一个待处理任务包括所述特征处理、所述特征编码；所述按照所述处理逻辑依次处理各所述待处理任务，包括：

将根据数据源获取的样本数据进行有效性检测，获取检测合格的样本数据；

对所述样本数据进行所述特征处理，获取特征合并后的特征文件；