[发明专利]一种数据管理方法及装置

权利要求书

1.一种数据管理方法，其特征在于，包括：

获取创建训练任务的请求，根据所述请求创建训练任务，并将所述训练任务的节点分配至任一数据存储管道中；

在接收到运行所述训练任务的请求时，获取客户端的工作状态；

若任一客户端的工作状态为空闲状态，则将所述数据存储管道中存储的训练任务中任一任务状态为待处理状态的节点分配至工作状态为空闲状态的客户端；

控制所述工作状态为空闲状态的客户端执行任务状态为待处理状态的节点的任务，以获得训练任务的训练结果。

2.如权利要求1所述的数据管理方法，其特征在于，所述控制所述工作状态为空闲状态的客户端执行任务状态为待处理状态的节点的任务，以获得训练任务的训练结果之后，包括：

若接收到切换节点请求，则解析所述切换节点请求，获得所述切换节点请求中包含的目标客户端和待切换节点；其中，所述待切换节点的任务状态为待处理状态；

控制所述目标客户端停止执行目标客户端内的原节点的任务，并将所述目标客户端的工作状态更新为空闲状态；

将所述待切换节点分配至所述目标客户端中，控制所述工作状态为空闲状态的客户端执行所述待切换节点的任务，以获得训练任务的训练结果。

3.如权利要求1所述的数据管理方法，其特征在于，所述控制所述工作状态为空闲状态的客户端执行任务状态为待处理状态的节点的任务，以获得训练任务的训练结果，包括：

将任务状态为待处理状态的节点的任务分成多个子任务，并将多个子任务分配至一个以上的工作状态为空闲状态的客户端，使每个工作状态为空闲状态的客户端对应处理一个子任务；

获取同一节点的所有子任务的执行结果，并将同一节点的所有子任务的执行结果合并，作为所述节点的任务结果；

获取同一训练任务的所有节点的任务结果，并将同一训练任务的所有节点的任务结果合并，作为训练任务的训练结果。

4.如权利要求1所述的数据管理方法，其特征在于，所述训练任务的节点包括训练集节点、验证集节点、测试集节点、训练节点、评估节点和部署节点中的至少一个；

所述控制所述工作状态为空闲状态的客户端执行任务状态为待处理状态的节点的任务，以获得训练任务的训练结果，还包括：

若所述节点为训练集节点和验证集节点中的任一种，则控制所述工作状态为空闲状态的客户端获取对应的满足第一预设条件的训练数据集或验证数据集，打包所述训练数据集或验证数据集，并将打包后的训练数据集或验证数据集发送至任一训练节点；

若所述节点为测试集节点，则控制所述工作状态为空闲状态的客户端获取对应的满足第一预设条件的测试数据集，打包所述测试数据集，并将打包后的测试数据集发送至任一评估节点；

若所述节点为训练节点，则控制所述工作状态为空闲状态的客户端对所述打包后的训练数据集进行预设数量的迭代训练，获得训练后的模型；

通过打包后的验证数据集对迭代训练过程中每一次迭代训练后的模型进行验证；

若每一次迭代训练后的模型均满足预设要求，则验证通过，将所述训练后的模型发送至评估节点；其中，预设要求包括：模型输出的准确率大于或等于准确率阈值和模型输出的平均精度均值大于或等于平均精度均值阈值中的至少一种；或者，

若所述节点为评估节点，则根据所述打包后的测试数据集对迭代训练过程中的每一次迭代训练后的模型进行测试，获得测试结果满足第二预设条件的任一次迭代训练后的模型作为最优训练后的模型，并发送至部署节点；

若所述节点为部署节点，发送所述最优迭代训练后的模型和应用部署通知至预设终端设备，接收所述预设终端设备返回的部署结果，作为训练任务的训练结果。

5.如权利要求4所述的数据管理方法，其特征在于，所述通过打包后的验证数据集对迭代训练过程中每一次迭代训练后的模型进行验证之后，包括：

若迭代训练过程中任一次迭代训练后的模型不满足预设要求，则返回执行控制所述工作状态为空闲状态的客户端对所述打包后的训练数据集进行预设数量的迭代训练，直至迭代训练过程中每一次迭代训练后的模型均满足预设要求。