[发明专利]训练作业处理方法及系统、计算设备、计算机存储介质

说明书

技术领域

本发明涉及数据处理技术领域，具体涉及一种训练作业处理方法及系统、计算设备、计算机存储介质。

背景技术

随着科学技术的不断发展，深度学习技术已成为计算机视觉和自然语言处理等领域中的一项重要研究手段。深度学习技术往往需对海量的训练数据进行分析训练，从而获得解决实际问题的模型及方法。

然而，目前在处理深度学习作业过程中，需开发技术人员根据实际作业需求，为深度学习作业手动划分硬件等运行资源，并需将深度学习作业拷贝至相应的硬件资源上运行，从而无法实现对硬件等运行资源的统一化管理。并且，深度学习作业处理过程中需调用较多的离线数据库中的数据，而离线数据库无法实现平台化处理，从而无法实现数据的统一存取。总之，目前的深度学习作业无法对硬件资源，尤其涉及GPU(Graphics Processing Unit，图形处理器)等硬件设备的统一管理；也无法实现训练数据，训练结果等数据的统一存取，无法实现平台化处理，处理效率底下，人工成本较高。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的训练作业处理方法及系统、计算设备、计算机存储介质。

根据本发明的一个方面，提供了一种训练作业处理方法，包括：

获取待处理的基于深度学习技术的训练作业，将所述训练作业进行封装处理，封装得到的训练作业携带封装参数；

将封装得到的训练作业提交给调度平台，以供所述调度平台根据所述封装参数为训练作业分配作业运行资源；

利用分配的作业运行资源，启动相应的作业执行程序执行所述训练作业，获取执行结果；

将执行结果保存至存储系统中。

根据本发明的另一方面，提供了一种训练作业处理系统，包括：

客户端，适于获取待处理的基于深度学习技术的训练作业，将所述训练作业进行封装处理，封装得到的训练作业携带封装参数；并将封装得到的训练作业提交给调度平台；

调度平台，适于根据所述封装参数为训练作业分配作业运行资源，利用分配的作业运行资源，启动相应的作业执行程序执行所述训练作业，获取执行结果；

存储系统，适于存储所述执行结果。

根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述训练作业处理方法对应的操作。

根据本发明的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述训练作业处理方法对应的操作。

根据本发明的训练作业处理方法及装置、计算设备、计算机存储介质，通过获取待处理的基于深度学习技术的训练作业，将所述训练作业进行封装处理，封装得到的训练作业携带封装参数；将封装得到的训练作业提交给调度平台，以供所述调度平台根据所述封装参数为训练作业分配作业运行资源；利用分配的作业运行资源，启动相应的作业执行程序执行所述训练作业，获取执行结果；将执行结果保存至存储系统中。采用本方案，可以实现不同类型的深度学习训练作业的统一调度，实现硬件等资源的统一分配管理及数据的统一存取，最终实现深度学习训练作业的平台化处理，提高了处理深度学习训练作业效率，并降低了人工成本。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例提供的训练作业处理方法的流程示意图；

图2示出了根据本发明另一个实施例提供的训练作业处理方法的流程示意图；

图3示出了根据本发明一个实施例提供的训练作业处理系统的功能框图；

图4示出了根据本发明另一个实施例提供的训练作业处理系统的功能框图；

图5示出了根据本发明一个实施例提供的计算设备的结构示意图。

具体实施方式