[发明专利]一种模型训练方法和相关装置

说明书

本申请实施例公开了一种模型训练的方法及相关装置，在通过N个处理节点对网络模型进行并行训练时，在第i次训练迭代结束时确定N个处理节点中的M个处理节点，M＜N，获取该M个处理节点所训练的网络模型的模型参数作为待融合参数，并根据待融合参数确定在第i+1次训练迭代开始时目标处理节点所训练的网络模型的初始模型参数，所述目标处理节点为N个处理节点中M个处理节点之外的一个处理节点。由于M个处理节点为N个处理节点中的局部处理节点，从而使该初始模型参数能够体现出局部处理节点的训练特点，增强了初始模型参数的多样性，降低了最终完成训练时网络模型的过拟合问题，在提高了训练效率的前提下保证了模型质量。

技术领域

本申请涉及数据处理领域，特别是涉及一种模型训练方法和相关装置。

背景技术

随着人工智能技术的发展，通过神经网络模型可以为用户提供各类服务，例如语音识别、图像识别、搜索等。一个高质量的神经网络模型需要通过大量训练数据的训练后才能得到，当训练数据的数量级很大的情况下，完成训练所需要的时间非常可观，难以满足日益出现的服务需求。

针对高训练耗时的问题，一些相关技术提出了多处理节点并行训练的解决方式。针对包括海量训练数据的数据集，通过多个处理节点分别对同一个初始模型进行并行训练，训练过程会包括多次训练迭代，在一次训练迭代结束时会将全部处理节点所训练模型的模型参数进行综合，将综合得到的模型参数作为下一个训练阶段每个处理节点所训练模型的初始参数。

消耗完训练数据后，将每个处理节点的模型进行融合，得到对应该数据集的网络模型。由于训练过程中每个处理节点都并行的从该数据集中调取训练数据，加快了训练数据的消耗速度，缩短了训练耗时。

然而，根据这种多处理节点并行训练的方式所确定的网络模型在一些情况下会出现过拟合的问题，导致网络模型具有较高的错误率。

发明内容

为了解决上述技术问题，本申请提供了一种模型训练方法及相关装置，通过将局部节点的模型参数作为待融合参数，根据所述待融合参数确定训练迭代的初始模型参数，增强了模型训练中的局部特点的体现，降低了过拟合问题。

本申请实施例公开了如下技术方案：

第一方面，本申请实施例提供了一种模型训练方法，在通过N个处理节点对网络模型进行并行训练的过程中包括k次训练迭代，k≥2，N≥2，所述方法包括：

在第i次训练迭代结束时，在所述N个处理节点中确定M个处理节点，i≤k-1，M<N；

从所述M个处理节点获取待融合参数，所述待融合参数为所述M个处理节点所训练的所述网络模型的模型参数；

根据所述待融合参数，确定在第i+1次训练迭代开始时目标处理节点所训练的所述网络模型的初始模型参数；所述目标处理节点为所述N个处理节点中除了所述M个处理节点之外的一个处理节点。

第二方面，本申请实施例提供了一种模型训练的相关装置，在通过N个处理节点对网络模型进行并行训练的过程中包括k次训练迭代，k≥2，N≥2，所述装置包括第一确定单元、获取单元、第二确定单元：

所述第一确定单元，用于在第i次训练迭代结束时，在所述N个处理节点中确定M个处理节点，i≤k-1，M<N；

所述获取单元，用于从所述M个处理节点获取待融合参数，所述待融合参数为所述M个处理节点所训练的所述网络模型的模型参数；

所述第二确定单元，用于根据所述待融合参数，确定在第i+1次训练迭代开始时所述目标处理节点所训练的所述网络模型的初始模型参数；所述目标处理节点为所述N个处理节点中除了所述M个处理节点之外的一个处理节点。

第三方面，本申请实施例提供了一种用于模型训练的设备，所述设备包括处理器以及存储器：