[发明专利]模型训练方法、模型训练装置和电子设备

说明书

本公开提供了一种模型训练方法、模型训练装置和电子设备。该方法应用于由多个节点构成的区块链网络中的任一节点，区块链网络用于训练一个或多个模型，该一个或多个模型分别针对不同的区块链。包括：基于第一模型的训练发起事件，确定区块链网络中除上述任一节点之外参与训练第一模型的一个或多个节点，以与上述任一节点共同构成第一子网。第一模型与上述一个或多个模型均不同。从上述一个或多个模型中确定第一模型的协助模型，获取针对协助模型的区块链上最新区块中的模型参数。基于该模型参数和关于第一模型的本地数据集，训练得到第一模型参数并广播至第一子网进行验证。如果验证通过，则基于第一模型参数创建针对第一模型的区块链的最新区块。

技术领域

本公开涉及一种模型训练方法、模型训练装置和电子设备。

背景技术

深度学习导致了人类历史上第三次人工智能的浪潮，且已被证明在计算机视觉、语音、语言处理等许多领域都有效。许多商业的人工智能的产品/服务已经可用，并使人们的生活更加美好。

人工智能模型的训练是人工智能研究领域的重要课题，越来越多的研究投入到该课题中。

发明内容

本公开的一个方面提供了一种模型训练方法，应用于由多个节点构成的区块链网络中的任一节点，区块链网络用于训练一个或多个模型，在区块链网络中该一个或多个模型分别针对不同的区块链。上述方法包括：基于第一模型的训练发起事件，确定区块链网络中除上述任一节点之外参与训练第一模型的一个或多个节点，由上述任一节点以及上述一个或多个节点构成第一子网。其中第一模型与上述一个或多个模型均不同。从上述一个或多个模型中确定第一模型的协助模型，然后获取针对协助模型的区块链上最新区块中的模型参数。基于该模型参数和关于第一模型的本地数据集，训练得到第一模型参数，并将第一模型参数广播至第一子网进行验证。如果验证通过，则基于第一模型参数创建针对第一模型的区块链的最新区块。

可选地，上述方法还包括：获取针对第一模型的区块链上最新区块中的第一模型参数。基于该第一模型参数和关于第一模型的本地数据集，训练得到第二模型参数，并将第二模型参数广播至第一子网进行验证。如果验证通过，则将第二模型参数作为更新的第一模型参数，基于更新的第一模型参数创建针对第一模型的区块链的最新区块。

可选地，上述确定区块链网络中除任一节点之外参与训练所述第一模型的一个或多个节点包括：确定包含关于第一模型的本地数据集的一个或多个节点。

可选地，上述从一个或多个模型中确定第一模型的协助模型包括：计算上述一个或多个模型中的任一模型与所述第一模型之间的相似度，并将与第一模型之间的相似度最高的模型作为协助模型。

可选地，针对协助模型的区块链上最新区块中的模型参数包括：协助模型的n个网络层的参数，其中n为正整数。上述基于模型参数和关于第一模型的本地数据集，训练得到第一模型参数包括：设置协助模型的前i个网络层的第一学习率以及后(n—i)个网络层的第二学习率。其中，i为小于n的正整数，第一学习率小于第二学习率。然后利用关于第一模型的本地数据集对上述n个网络层的参数进行迭代优化，得到更新的n个网络层的参数，作为第一模型参数。

可选地，上述方法还包括：接收来自第一子网中的其他节点的第一模型参数，并基于关于第一模型的本地数据集验证该第一模型参数的精度。如果精度高于预定阈值，则向发出该第一模型参数的其他节点发送第一消息，如果精度不高于预定阈值，则向发出该第一模型参数的其他节点发送第二消息。

可选地，上述将第一模型参数广播至第一子网进行验证包括：接收来自第一子网中各节点的第一消息和第二消息。如果第一消息的数量与第二消息的数量之间的比值超过预定比例，则确定验证通过。

可选地，上述方法还包括：如果验证未通过，基于来自其他节点的第一模型参数对上述任一节点训练得到的第一模型参数进行修正，得到更新的第一模型参数。