[发明专利]一种基于联邦学习的单方实时预测算法

说明书

本发明公开了一种基于联邦学习的单方实时预测算法，包括以下步骤：(1)发起方A创建常规的联邦学习模型任务，并通过隐私通信通知所有参与方启动相应的算法任务；(2)各个参与方B、C初始化参与方模型算法结构和参与数据，保证所有的参与模型训练的数据的关键字ID，在各个参与方上都有相应的维度特征。本发明通过T‑S算法训练出的Student模型，可以摆脱分布式纵向联邦学习的限制，达到真正意义上的实时预测，并且预测效率大大提升，甚至Student预测模型的在T‑S算法下，预测的准确度要高于联邦模型；DVFL‑URP算法可以使局部模型student获取和联邦学习模型teacher相媲美的准确度，同时可以实时预测己方数据所对应的结果。

技术领域

本发明涉及联邦学习、超参优化、T-S算法、知识蒸馏、密码学、模型部署技术领域，特别涉及一种基于联邦学习的单方实时预测算法。

背景技术

联邦学习英文全称为Federated Learning,简称FL),又名联邦机器学习。联邦学习是实现在本地原始数据不出库的情况下，通过对中间加密数据的流通与处理来完成多方联合的机器学习训练。根据参与计算的数据在数据方之间分布的情况不同，可以分为横向联邦学习、纵向联邦学习和联邦迁移学习；

联邦学习是一种使用分布式优化方法来保护多方合作时数据隐私的技术，核心点在于：分布式和数据隐私。不同于传统的分布式优化(Distributed Optimization)技术，联邦学习考虑到了数据的隐私、数据的非独立同分布性质、数据传输的瓶颈等问题，而分布式优化仅仅是为了协同多台机器共同完成大规模数据优化训练。不同于传统的密码学加密技术，联邦学习训练的模型包含大量的复杂操作，模型本身包含的信息和数据有多少程度的关系，传输模型是否等价于传输数据等问题，需要进一步探讨。总而言之，联邦学习不局限于传统的分布式优化问题，也不仅仅是通过传统密码学的同态加密等技术就轻易解决的任务，也并不是分布式优化和密码学的结合。

知识蒸馏算法可以将一个网络的知识转移到另一个网络，两个网络可以是同构或者异构。做法是先训练一个teacher网络，然后使用这个teacher网络的输出和数据的真实标签去训练student网络。知识蒸馏，可以用来将网络从大网络转化成一个小网络，并保留接近于大网络的性能；也可以将多个网络的学到的知识转移到一个网络中，使得单个网络的性能接近emsemble的结果；

常规的纵向联邦学习模型在分布式训练完成之后，不会做到真正意义上的实时预测，原因是因为纵向联邦学习样本对应的维度特征分布在不同的参与方上，如果要用已经训练好的纵向联邦模型，就需要多个参与方同事针对该样本更新或采集维度特征，由于客观或业务情况的不同，多个参与方很难针对同一个样本采集时间上有很大差异，这就导致纵向联邦学习在真正部署应用的时候不会达到实时的效果，然而实时预测在实际的生产生活中应用非常普遍，例如诈骗追踪、舆情治理、违法资金监管等等，纵向联邦学习不能实时预测的弊端大大折扣了联邦学习在生产应用中的价值。

DVFL-URP算法正是要解决这一问题，即让纵向联邦学习模型在实际的生产部署中，达到实时响应的目的，不需要多个参与方同时采集到需要的样例维度特征，只需要己方的维度特征就可以进行实时预测样本标签。

发明内容

本发明要解决的技术问题是克服现有技术的缺陷，提供一种基于联邦学习的单方实时预测算法。

本发明提供了如下的技术方案：

本发明提供一种基于联邦学习的单方实时预测算法，包括以下步骤：

(1)发起方A创建常规的联邦学习模型任务，并通过隐私通信通知所有参与方启动相应的算法任务；

(2)各个参与方B、C初始化参与方模型算法结构和参与数据，保证所有的参与模型训练的数据的关键字ID，在各个参与方上都有相应的维度特征；