[发明专利]一种增量优化的模型训练方法、装置与系统

权利要求书

1.一种增量优化的模型训练方法，所述模型训练过程实施于AI设备节点组，所述模型训练过程按训练轮次进行实施。所述方法的特征在于，包括：

确定第一数据集，所述第一数据集为所述模型训练的输入数据；

确定第二数据集，所述第二数据集来自于所述AI设备节点组，所述第二数据集包含所述AI设备节点组的节点信息；

生成第三数据，所述第三数据由所述第二数据集确定；

发送所述第一数据集，所述第一数据集的发送目的节点由所述第三数据确定；

接收第四数据集，所述第四数据集由多个第四数据组成，所述第四数据包含所述AI设备节点组某节点对所述模型的训练结果；

根据所述第四数据集的内容，再次确定所述第一数据集的数据内容。

2.根据权利要求1所述方法，其特征在于，所述再次确定第一数据集，还包括：

接收所述第四数据，得到对应AI设备节点所训练模型的训练结果；

根据对所述第四数据集中各训练结果，确定下一轮次模型训练的输入数据。

3.根据权利要求2所述方法，其特征在于，所述确定模型训练的输入数据，还包括：

获取模型参数的评分，所述模型参数的评分来自于所述模型训练结果；

根据所述评分确定至少一个优质模型参数；

生成所述第一数据集。

4.根据权利要求1所述方法，其特征在于，所述确定第二数据集，还包括：

所述第二数据集由多个第二数据组成，所述一个第二数据对应于所述AI设备节点组中的一个节点；

根据所述第四数据集确定所述第二数据集的各个第二数据。

5.根据权利要求4所述方法，其特征在于，所述第三数据由所述第二数据集确定，还包括：

根据所述第二数据集中的每一个第二数据，确定所对应AI设备节点在模型训练过程中的算力供给情况；

根据所述算力供给情况，确定所述AI设备节点的信息是否记入所述第三数据。

6.一种计算机程序，其特征在于，所述计算机程序包含执行权利要求1-5任一所述的方法。

7.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-5任一项所述的方法。

8.一种执行计算机程序的装置，其特征在于，包括处理组件、存储组件和通信模组件，处理组件、存储组件和通信组件相互连接，其中，存储组件用于存储数据处理代码，通信组件用于与外部设备进行信息交互；处理组件被配置用于调用程序代码，执行如权利要求1-5任一项所述的方法。