[发明专利]一种基于分层分片区块链的联邦学习方法、系统及装置

说明书

本发明涉及区块链和联邦学习技术领域，涉及一种基于分层分片区块链的联邦学习方法、系统及装置，方法包括使用智能合约构建主链及触发若干子链；各子链从主链中获取任务信息和基础模型并打包成子链交易提交到子链；各子链主节点选择的智能终端从对应子链中拉取任务信息和基础模型进行多轮训练；子链主节点聚合各智能终端上传的子链交易获得本轮分片模型，打包成子链交易提交到子链；各子链主节点将每次分片迭代中最后一轮分片模型打包成主链交易提交到主链，并批准主链中部分主链交易；本发明提出的分层分片区块链结构，减轻了由单个区块链网络承载整个联邦学习任务所带来的交易处理负担，充分发挥了区块链技术与联邦学习融合所带来的多维度增益。

技术领域

本发明涉及区块链和联邦学习技术领域，特别涉及一种基于分层分片区块链的联邦学习方法、系统及装置。

背景技术

联邦学习是一种机器学习框架，由于其分布式特征使得各个训练参与方(终端或组织)能够在不上传本地原始数据的情况下，协调各方训练同一模型，进而在满足用户隐私保护、政府法律法规的要求下完成信息分享。

为了解决传统联邦学习中的安全和效率问题，现有技术中将区块链技术引入联邦学习架构中实现去中心化训练。然而，现有的基于区块链的联邦学习未能充分考虑部分共识算法对计算和存储资源的极大需求，同时有限的吞吐量也难以支撑大规模的训练任务，导致无法充分发挥区块链技术与联邦学习融合所带来的多维度增益。

发明内容

基于现有技术所存在的技术问题，本发明通过引入分布式数据库常用的分片方法将大型区块链驱动的联邦学习网络切割成不重叠的多个片区，各个片区并行且独立的完成各自训练和共识操作将有效的降低网络中各个节点的计算处理量和本地分布式账本大小，进而极大减少对计算和存储资源的需求。同时，构建基于有向无环图(DAG,DirectedAcyclic Graph)结构的主链以实现各个分片训练的模型的有效共享和验证。

本发明实施例通过提供一种基于分层分片区块链的联邦学习方法、系统及装置，用以解决在联邦学习中未能充分考虑部分共识算法对计算和存储资源的极大需求，同时有限的吞吐量也难以支撑大规模的训练任务等问题。

在本发明的第一方面，本发明实施例提供一种基于分层分片区块链的联邦学习方法，所述方法包括以下步骤：

智能合约根据训练任务构建出主链，触发各分片子链开启训练任务；

被触发的每个分片子链从所述主链中获取本次分片迭代的基础模型，将所述基础模型与子链信息打包成子链交易并提交到子链；

各个子链主节点选择智能终端，所述智能终端从子链中拉取训练任务信息和基础模型进行本地训练，将训练完成后的基础模型和子链信息打包成子链交易并提交到子链；

各个子链节点将验证后的子链交易转发给子链主节点；所述子链主节点聚合本轮分片内各智能终端上传的子链交易获得本轮分片模型，并与子链信息打包成子链交易提交到子链；

各子链主节点将每次分片迭代中最后一轮分片内生成的分片模型与主链信息打包成主链交易提交到主链，并批准主链中部分主链交易。

进一步的，所述智能合约根据训练任务构建主链包括联邦学习任务请求者签署智能合约以声明任务信息，所述智能合约打包任务信息以生成创世块进而构建基于DAG共识的主链。

进一步的，在所述触发各分片子链开启训练任务的同时还包括智能合约监测共识主链状态，并从所述主链中拉取区块以获取各个分片的全局模型。

进一步的，智能合约定时从主链中的所有Tips拉取若干个Tips生成聚合模型；智能合约利用测试集验证该聚合模型的有效性；根据训练任务的目标判断所述聚合模型是否达到训练目标，若达到训练目标，智能合约向所有触发的分片子链发送停止信号，否则等待定时后智能合约继续进行状态监测。