[发明专利]一种基于集群的模型训练方法、装置、设备及存储介质

说明书

本发明涉及模型训练技术领域，具体是涉及一种基于集群的模型训练方法、装置、设备及存储介质。本发明将待训练模型放在各个集群上利用各个集群上的局部数据进行模型的训练，本发明将待训练模型放在各个集群上，因此本发明不需要将各个集群上的数据迁移至各个集群的外部就可以利用各个集群的数据对模型进行训练，从而保护了各个集群上的数据隐私以防止数据泄密。

技术领域

本发明涉及模型训练技术领域，具体是涉及一种基于集群的模型训练方法、装置、设备及存储介质。

背景技术

近年来，人工智能(各种智能的计算模型)的全球发展热潮势不可挡，并在智慧医疗、智慧城市、互联网金融等关键领域创造了巨大的社会效益。使用模型在智慧医疗、智慧城市、互联网金融领域中进行相关任务处理之前，需要对模型进行训练，而模型训练需要大量的数据，集群作为容纳数据的载体，拥有训练模型所需要的数据，但是单个集群所对应数据的局限性，无法满足模型训练时对数据的要求，因此需要多个集群为模型提供更多以及不同的数据，以满足模型训练对数据的要求。现有技术是将各个集群上的数据进行迁移以实现将各个集群上的数据进行汇总，再通过汇总之后的数据对模型进行训练。现有技术由于将各个集群上的数据移出了集群，从而导致了集群数据的泄密。

综上所述，现有技术利用集群对模型进行训练会导致数据泄密。

因此，现有技术还有待改进和提高。

发明内容

为解决上述技术问题，本发明提供了一种基于集群的模型训练方法、装置、设备及存储介质，解决了现有技术利用集群对模型进行训练会导致数据泄密的问题。

为实现上述目的，本发明采用了以下技术方案：

第一方面，本发明提供一种基于集群的模型训练方法，其中，包括：

将模型发送至各个集群上，所述集群用于为模型提供训练所需要的数据；

获取所述模型在各个所述集群上依据局部数据进行训练时所对应的各个局部参数，所述局部数据为各个所述集群上的数据；

依据各个所述局部参数，得到所述模型所对应的目标参数，完成对所述模型的训练，训练之后的所述模型用于完成目标任务。

在一种实现方式中，所述依据各个所述局部参数，得到所述模型所对应的目标参数，完成对所述模型的训练，训练之后的所述模型用于完成目标任务，包括：

获取位于各个所述集群上的所述模型在训练时所对应的各个局部梯度；

依据各个所述局部梯度和各个所述局部参数，得到所述模型所对应的目标参数，完成对所述模型的训练。

在一种实现方式中，所述依据各个所述局部梯度和各个所述局部参数，得到所述模型所对应的目标参数，完成对所述模型的训练，包括：

对各个所述局部梯度进行聚合，得到与所述模型所匹配的聚合梯度；

对各个所述局部参数进行融合，得到所述模型所对应的融合参数；

依据所述聚合梯度和所述融合参数，得到所述模型所对应的目标参数。

在一种实现方式中，所述依据所述聚合梯度和所述融合参数，得到所述模型所对应的目标参数，包括：

将所述聚合梯度和所述融合参数发送至各个所述集群上；

获取各个所述集群上的所述模型依据所述聚合梯度和所述融合参数以及所述局部数据进行迭代训练至收敛时所对应的局部目标参数；

对各个所述局部目标参数进行融合，得到所述模型所对应的目标融合参数；

依据依据目标融合参数，得到所述模型所对应的目标参数。