[发明专利]一种联合学习系统、训练结果聚合的方法及设备

说明书

本申请公开了一种联合学习系统，应用于人工智能AI技术领域。该联合学习系统包括M个聚合节点和N个训练节点，M个聚合节点中都配置有TEE和REE，M个聚合节点中包括第一聚合节点。第一聚合节点接收P个训练节点发送的针对训练模型的P个加密的第一训练结果，P≤N；第一聚合节点将P个第一训练结果调度到第一聚合节点的第一TEE中进行解密并聚合，以得到第一聚合结果，第一聚合结果用于更新训练模型或者用于下一级聚合。本申请实施例提供的方案，训练结果的传输和聚合都不会被泄露，保证了数据的隐私性，而且训练节点和聚合节点只需要传输一次加密的训练结果就可以实现训练结果的聚合，降低了通信开销，提高了计算效率。

技术领域

本申请涉及人工智能(artificial intelligence,AI)技术领域，具体涉及一种联合学习系统、训练结果聚合的方法及设备。

背景技术

联合学习(Federated Learning)是一种模型训练方案，云设备可以联合多个终端设备共同训练模型，同时解决隐私问题。联合学习有多轮训练过程，每轮按照一定的规则筛选多个终端设备共同参与训练，一定程度上解决了端侧样本数据量较少的问题。联合学习过程中用户隐私数据在端侧本地使用，无需上传到云侧，可以解决隐私泄露问题。每个端侧训练得到的训练结果要上传到云侧，云侧对多个端侧上传的训练结果进行聚合，然后再将聚合后的结果下发给端侧。

考虑到通过训练结果可以反推出来训练数据，如果训练结果在从终端设备传输到云设备的过程中泄露或者在云设备执行聚合操作前泄露都会导致训练数据泄露。所以联合学习利用安全聚合(secure aggregation，SA)方法来保证训练结果不会泄露。SA方法中使用秘密共享(secret sharing，SS)的方式来对训练结果进行加密，从而保证训练结果的安全性。

采用SS的方式，每一次聚合需要执行以下过程：用户集U中的终端设备在本地生成对称密钥对，并将带有签名的公钥发送给云设备，云设备收到了用户集U1(U1∈U)的公钥，并将公钥列表广播给U1中的所有终端设备。U1中的终端设备根据公钥列表中终端设备的数量将训练结果切分为对应数量的共享片(share)，并为每一个share随机加上一个噪声向量b，分别使用不同终端设备的公钥加密各个带有噪声b的share。终端设备将各个带有噪声b的share的密文发送给云设备。云设备收到了用户集U2(U2∈U1)的密文。云设备将收到的密文下发给U2中的终端设备，U2中的终端设备使用自己的密钥解密出使用自己公钥加密的密文，计算出中间结果y并发送给云设备，云设备收到了用户集U3(U3∈U2)的中间结果y。云设备广播U3用户的名单，如果U3中终端设备的数量小于要求实现聚合计算的最少终端设备数量t则终止聚合，如果U3中终端设备的数量不小于t,则收到名单的终端设备返回签名给云设备；云设备收集到了用户集U4(U4∈U3)的签名。云设备广播U4中终端设备的签名列表以确定存活用户，存活用户指的是没有掉线的终端设备。如果U4中存活用户的数量少于t则终止聚合。如果U4中存活用户的数量不少于t，则存活用户将生成噪声b的明文，并为掉线用户重新生成采用自身公钥加密的share密文，将噪声b的明文和采用自身公钥加密的share密文先发送给云设备，再将为掉线用户生成的密文对应的私钥送给云设备。云设备采用接收到的私钥解密掉线用户的密文，生成掉线用户的中间结果，并使用噪声b的明文对用户集U3的中间结果进行去噪处理，使用掉线用户的中间结果和存活用户去噪后的中间结果进行计算，得到聚合结果明文，聚合流程结束。

由上述SS的方式可知，实现一次聚合需要每个参与计算的终端设备与云设备进行多轮通信，并且终端设备也要切分训练数据以及计算中间结果，导致通信开销大，计算效率低下。

发明内容

本申请实施例提供一种联合学习系统以及训练结果聚合的方法，可以在保证训练数据隐私性的前提下降低通信开销，提高计算效率。本申请实施例还提供了相应的设备。