[发明专利]基于状态通道的去中心训练方法、装置、存储介质及设备

说明书

本发明实施例公开了一种基于状态通道的去中心训练方法、装置、存储介质及设备，该方法通过开启任务分发节点与各目标执行任务节点之间的状态通道，然后任务分发节点通过链接状态通道将训练模型或相应的发送给各目标执行任务节点，以使各目标执行任务节点基于训练参数进行训练，并将各目标执行任务节点的训练结果进行全局迭代训练，得到训练模型聚合结果，这样通过区块链链下的多个目标执行任务节点进行集群化训练，降低了每个目标执行任务节点加载的数据量，避免了大量的参数很难被单个节点加载而导致无法进行训练的问题，并且提高了训练速度。

技术领域

本发明涉及计算机技术领域，具体而言涉及一种基于状态通道的去中心训练方法、装置、存储介质及设备。

背景技术

当前的机器学习训练大多采用中心化或分布式的计算方法，例如集中式训练、分布式机器训练以及联邦训练。其中，区块链是一种去中心化的信任机器，被许多人用于实现去中心化训练，即通过区块链的共识机制随机选举出一个节点来完成聚合全部的参数。但是，仅利用单个节点来完成全部参数的聚合，在数据量很大时，会出现单个节点加载不下大量的参数而导致无法进行训练的问题。

发明内容

有鉴于此，本发明实施例提供了一种基于状态通道的去中心训练方法、装置、存储介质及设备，以解决仅利用单个节点来完成全部参数的聚合，在数据量很大时，会出现单个节点加载不下大量的参数而导致无法进行训练的问题。

第一方面，本发明实施例提供了一种基于状态通道的去中心训练方法，包括：

任务分发节点获取区块链上的计算合约，所述计算合约包括计算任务分发策略、状态通道开启策略、状态通道关闭策略及任务回调策略；

所述任务分发节点基于所述计算任务分发策略，向各执行任务节点发送训练任务请求，所述计算任务分发策略包括训练模型或相应的链接、全局聚合迭代轮次、本地迭代轮次及目标执行任务节点的数量，所述目标执行任务节点为接受所述计算任务请求的执行任务节点；

在满足状态通道开启条件的情况下，基于所述状态通道开启策略，开启所述任务分发节点与各目标执行任务节点之间的状态通道；

所述任务分发节点通过所述状态通道将所述训练模型或相应的链接及本地迭代轮次发送给各目标执行任务节点，以使各目标执行任务节点基于所述训练模型或相应的链接及本地迭代轮次进行训练，并将各目标执行任务节点的训练结果进行全局迭代训练，得到训练模型聚合结果；

基于所述计算合约的状态通道关闭策略，关闭所述任务分发节点与各目标执行任务节点之间的状态通道；

所述任务分发节点将所述模型聚合结果写入所述任务回调策略。

具体地，所述在满足状态通道开启条件的情况下，基于所述状态通道开启策略，开启所述任务分发节点与各目标执行任务节点之间的状态通道，包括：

所述任务分发节点获取所述目标执行任务节点的数量；

判断所述目标执行任务节点的数量是否大于或等于预设节点数量，如果所述目标执行任务节点的数量大于或等于预设节点数量，则基于所述状态通道开启策略，开启所述任务分发节点与各目标执行任务节点之间的状态通道。

具体地，所述任务分发节点将所述计算合约中的训练模型或相应的链接及本地迭代轮次通过所述状态通道发送给各目标执行任务节点，以使各目标执行任务节点基于所述训练模型或相应的链接及本地迭代轮次进行训练，并将各目标执行任务节点的训练结果进行全局迭代训练，得到训练模型聚合结果，包括：

所述任务分发节点将所述计算合约中的训练模型或相应的链接及本地迭代轮次通过所述状态通道发送给各目标执行任务节点；

各目标执行任务节点基于所述训练模型或相应的链接及本地迭代轮次，利用本地样本数据进行本地迭代训练，并将训练结果通过所述状态通道发送给所述任务分发节点；