[发明专利]一种数据管理方法及装置

说明书

本申请适用于数据处理技术领域，提供了一种数据处理方法及装置，方法包括：获取创建训练任务的请求，根据请求创建训练任务，并将训练任务的节点分配至任一数据存储管道，并在接收到运行训练任务的请求时，获取客户端的工作状态，若任一客户端的工作状态为空闲状态，则将数据存储管道中存储的训练任务中任一任务状态为待处理状态的节点分配至工作状态为空闲状态的客户端，然后控制工作状态为空闲状态的客户端执行待处理状态的节点的任务，获得训练任务的训练结果。本申请通过将训练任务分配在数据存储管道上，并动态的调用空闲状态的客户端执行任一节点的任务，实现了在训练过程中任意切换节点，减小了客户端的数据处理量，提高了模型训练的效率。

技术领域

本申请属于数据处理技术领域，尤其涉及一种数据管理方法及装置。

背景技术

现有的模型训练过程中，模型的多个任务节点构成一个完整的任务链，多个任务节点间按着固定的顺序执行，并且，通常情况下，设定一个任务节点由一个客户端处理，由于任务节点的数据量庞大，导致客户端的训练进程缓慢，对模型进行训练的效率低下。

发明内容

本申请实施例提供了数据管理方法及装置，可以解决数据管理问题。

第一方面，本申请实施例提供了一种数据管理方法，包括：

获取创建训练任务的请求，根据所述请求创建训练任务，并将所述训练任务的节点分配至任一数据存储管道中；

在接收到运行所述训练任务的请求时，获取客户端的工作状态；

若任一客户端的工作状态为空闲状态，则将所述数据存储管道中存储的训练任务中任一任务状态为待处理状态的节点分配至工作状态为空闲状态的客户端；

控制所述工作状态为空闲状态的客户端执行任务状态为待处理状态的节点的任务，以获得训练任务的训练结果。

第二方面，本申请实施例提供了一种数据管理装置，包括：

创建模块，用于获取创建训练任务的请求，根据所述请求创建训练任务，并将所述训练任务的节点分配至任一数据存储管道中；

接收模块，用于在接收到运行所述训练任务的请求时，获取客户端的工作状态；

第一分配模块，用于若任一客户端的工作状态为空闲状态，则将所述数据存储管道中存储的训练任务中任一任务状态为待处理状态的节点分配至工作状态为空闲状态的客户端；

第一控制模块，用于控制所述工作状态为空闲状态的客户端执行任务状态为待处理状态的节点的任务，以获得训练任务的训练结果。

第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面中任一项所述的数据管理方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的数据管理方法。

第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的数据管理方法。

可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

本申请实施例通过将训练任务分配在数据存储管道上，并动态的调用空闲状态的客户端执行任一节点的任务，实现了在训练过程中任意切换节点，减小了客户端的数据处理量，提高了模型训练的效率。

附图说明