[发明专利]一种基于集群的模型训练方法、装置、设备及存储介质

权利要求书

1.一种基于集群的模型训练方法，其特征在于，包括：

将模型发送至各个集群上，所述集群用于为模型提供训练所需要的数据；

获取所述模型在各个所述集群上依据局部数据进行训练时所对应的各个局部参数，所述局部数据为各个所述集群上的数据；

依据各个所述局部参数，得到所述模型所对应的目标参数，完成对所述模型的训练，训练之后的所述模型用于完成目标任务。

2.如权利要求1所述的基于集群的模型训练方法，其特征在于，所述依据各个所述局部参数，得到所述模型所对应的目标参数，完成对所述模型的训练，训练之后的所述模型用于完成目标任务，包括：

获取位于各个所述集群上的所述模型在训练时所对应的各个局部梯度；

依据各个所述局部梯度和各个所述局部参数，得到所述模型所对应的目标参数，完成对所述模型的训练。

3.如权利要求2所述的基于集群的模型训练方法，其特征在于，所述依据各个所述局部梯度和各个所述局部参数，得到所述模型所对应的目标参数，完成对所述模型的训练，包括：

对各个所述局部梯度进行聚合，得到与所述模型所匹配的聚合梯度；

对各个所述局部参数进行融合，得到所述模型所对应的融合参数；

依据所述聚合梯度和所述融合参数，得到所述模型所对应的目标参数。

4.如权利要求3所述的基于集群的模型训练方法，其特征在于，所述依据所述聚合梯度和所述融合参数，得到所述模型所对应的目标参数，包括：

将所述聚合梯度和所述融合参数发送至各个所述集群上；

获取各个所述集群上的所述模型依据所述聚合梯度和所述融合参数以及所述局部数据进行迭代训练至收敛时所对应的局部目标参数；

对各个所述局部目标参数进行融合，得到所述模型所对应的目标融合参数；

依据依据目标融合参数，得到所述模型所对应的目标参数。

5.如权利要求4所述的基于集群的模型训练方法，其特征在于，所述依据依据目标融合参数，得到所述模型所对应的目标参数，包括：

获取各个所述集群上的所述模型依据所述聚合梯度和所述融合参数以及所述局部数据进行迭代训练至收敛时所对应的局部目标梯度；

对各个所述局部目标梯度进行聚合，得到与所述模型所匹配的目标聚合梯度；

依据所述目标聚合梯度，得到与所述目标融合参数所匹配的优化器；

依据所述优化器，对所述目标融合参数进行更新，得到所述模型所对应的目标参数。

6.一种基于集群的模型训练方法，其特征在于，包括：

依据局部数据对模型进行训练，得到所述模型在各个集群上所对应的各个局部参数，所述局部数据位于各个所述集群上；

将各个所述局部参数发送至全局服务器，所述全局服务器用于对各个所述局部参数进行融合；

依据聚合参数和所述局部数据，得到各个所述集群上的所述模型所对应的各个局部目标参数，所述聚合参数为所述全局服务器对各个所述局部参数进行融合之后的参数；

将各个所述局部目标参数发送至所述全局服务器，所述全局服务器用于对各个所述局部目标参数进行融合，完成对所述模型的训练，训练之后的所述模型用于完成目标任务。

7.如权利要求6所述的基于集群的模型训练方法，其特征在于，所述依据局部数据对模型进行训练，得到所述模型在各个集群上所对应的各个局部参数，所述局部数据位于各个所述集群上，包括：

依据各个所述集群，得到各个所述集群所包含的局部服务器和各个工作节点，所述工作节点用于将所述局部数据加载到所述模型上；

在各个所述工作节点上依据所述局部数据对所述模型进行训练，得到所述模型所对应的子部参数；

通过所述局部服务器对各个所述子部参数进行融合，得到所述模型在各个集群上所对应的各个局部参数。