[发明专利]一种增量优化的模型训练方法、装置与系统

说明书

本发明提出一种增量优化的模型训练方法，所述方法通过调度总台作用于多个边缘AI设备节点，所述方法还包括：接收各节点状态信息，接收各节点模型训练的结果，确定模型训练结果所包含的模型参数，根据所述模型参数遴选与确定优质模型参数，并将该优质模型参数作为下轮次模型训练输入发送到新确定的模型训练节点，以此增量方式作模型训练直到模型训练完成，输出训练所得模型。此增量模型训练方法可以减少对大规模样本数据的依赖，并提高边缘AI设备节点对所采集数据使用的实时性，降低AI模型的获得成本，加速AI的应用普及。

技术领域

本申请涉及分布式AI，主要涉及在边缘AI设备节点作模型训练的方法。

背景技术

目前人们普遍认为人工智能(AI-Artificial Intelligence)会是二十一世纪及以后最具影响力的技术之一。传统AI的应用方式是，基于人工事先对数据作收集与观察，将数据规律化为算法，使用所收集数据作算法学习与模型训练，从而得到在未来可进行预测与推理的模型结果。

但随着物联网(IoT-Intemet of Things)的到来，更多设备加入数据采集行列，前述这种事先收集后再学习与训练的方法就使得联网数据失去了实时，无法充分利用物联网的优势。

发明内容

因此，本申请提出解决上述问题、利用多AI设备节点来训练差异性数据样本、在训练过程中选择优势模型参数、从而提高模型质量的模型训练方法。这些方法，应用于不特定的工具、设备、系统甚至数据中心或云服务中心，从而构成一个群体学习的模型训练系统。为此，本发明：

一方面，提出一种增量优化的模型训练方法，所述模型训练过程实施于AI设备节点组，所述模型训练过程按训练轮次进行实施。还包括：

确定第一数据集，所述第一数据集为所述模型训练的输入数据；确定第二数据集，所述第二数据集来自于所述AI设备节点组，所述第二数据集包含所述AI设备节点组的设备信息；生成第三数据，所述第三数据由所述第二数据集确定；发送所述第一数据集，所述第一数据集的发送目的节点由所述第三数据确定；接收第四数据集，所述第四数据集由多个第四数据组成，所述第四数据包含所述AI设备节点组某节点对所述模型的训练结果；根据所述第四数据集的内容，再次确定所述第一数据集的数据内容。进一步，还包括，接收所述第四数据，得到对应AI设备节点所训练模型的训练结果；根据对所述第四数据集中各训练结果，确定下一轮次模型训练的输入数据。进一步，还包括，获取模型参数的评分，所述模型参数的评分来自于所述模型训练结果；根据所述评分确定至少一个优质模型参数；由所述至少一个优质模型参数生成所述第一数据集。进一步，还包括，所述第二数据集由多个第二数据组成，所述一个第二数据对应于所述AI设备节点组中的一个节点；根据所述第四数据集确定所述第二数据集的各个第二数据。进一步，还包括，根据所述第二数据集中的每一个第二数据，确定所对应AI设备节点在模型训练过程中的算力提供情况；根据所述算力提供情况，确定所述AI设备节点的信息是否记入所述第三数据。