[发明专利]一种基于变分自编码器的恶意更新检测方法及系统

说明书

本发明公开了一种基于变分自编码器的恶意更新检测方法及系统，该方法包括步骤：采集本地更新数据，并对本地更新数据进行预处理，得到代理向量；将代理向量输入至多个变分自编码器，对变分自编码器进行预训练，将多轮次的代理向量输入至预训练完成的变分自编码器，得到多轮次的重构向量，根据多轮次的代理向量和多轮次的重构向量，得到多轮次的重构误差；根据多轮次的代理向量进行聚类，进而判断本地更新是否为恶意更新；该系统包括特征提取模块、重构误差计算模块和聚类模块；与现有技术相比，本发明通过多个变分自编码器得到重构误差，并通过聚类方法对代理向量进行聚类，进而判断本地更新是否为恶意更新，可以应对恶意更新占多数的情况。

技术领域

本发明属于联邦学习恶意更新检测技术领域，尤其涉及一种基于变分自编码器的恶意更新检测方法及系统。

背景技术

现有技术中，对于联邦学习中的恶意更新检测需要预先知道恶意客户端数量；利用多数原则排出更新，不能应对恶意更新占少数的情况，也无法防御针对性后门攻击，对于来自不同客户端的模型更新均使用欧式距离进行计算，无法应对客户端数据非独立同分布的情况，且需要在计算得到最近邻更新之间的两两距离后得到候选集，因此无法扩展，使用通用的统计机器学习方法构建模型，效果不显著。现有技术中，还存在使用来自客户端的模型更新的几何中心作为全局更新，在客户端数据非独立同分布的情况无法实现模型收敛。还有一种方法直接使用采样后的更新进行变分自编码器的训练和更新标签预测，但无法应对特殊类型的恶意更新。

对于现有技术中的模型更新的异常检测方法，需要假设异常值，但异常值是稀有情况，因此无法应对异常值占多数的情况，当属性较多时，需要建立大量独立树以确保较高的恶意更新识别率。现有技术中指出可以使用重构误差进行变量的异常检测，并详细分析了基于重构误差进行异常检测的原理，主要为从正常变量学习得到的主成分最能反映正常变量的特性，而无法表示异常变量的特性，因此正常变量的重构误差往往低于异常变量的重构误差。

现有的联邦学习恶意更新检测方法，大多是用简单的统计机器学习方法构建模型，没有针对恶意更新的特点出发，构建检测模型，导致检测率低。

现有的模型异常检测方法大多使用基于密度的检测方法：将异常样本看作边缘点处理，认为处于所有样本边缘的样本为异常点，或认为所处位置样本最稀疏的点为异常点。同时少部分方法使用基于偏差的检测方法：使用机器学习方法学习样本隐藏表达，将更新数据映射到隐藏表达，再通过隐藏表达还原重构更新数据，并计算重构误差，通过最小化重构误差来优化神经网络和该隐藏表达，并依据重构误差判断样本是否异常。但是当前基于偏差的检测方法，对特征信息的利用不充分；且在测试时依赖于训练数据的隐藏表达，开销大，灵活性低。

发明内容

本发明的目的在于克服上述现有技术中使用简单的统计机器学习方法构建模型，没有针对恶意更新的特点出发构建检测模型，依赖于训练数据的隐藏表达，开销大、灵活性低的不足，提供了一种基于多个变分自编码器，且针对恶意更新的特点出发构建检测模型，进而检测联邦学习恶意更新的方法，具体为一种基于变分自编码器的恶意更新检测方法。

本发明提供了一种基于变分自编码器的恶意更新检测方法，包括步骤：

S1：采集本地更新数据，并对本地更新数据进行预处理，得到代理向量；

S2：将代理向量输入至多个变分自编码器，对变分自编码器进行预训练；重复S1，得到多轮次的代理向量，并将多轮次的代理向量输入至预训练完成的变分自编码器，得到多轮次的重构向量，根据多轮次的代理向量和多轮次的重构向量，得到多轮次的重构误差；

S3：根据多轮次的代理向量进行聚类，将多轮次的代理向量分为两个簇，且根据多轮次的重构误差，计算平均重构误差，将平均重构误差大于阈值的代理向量簇作为善意向量簇，本地更新为良性更新；将平均重构误差小于阈值的代理向量簇作为恶意向量簇，本地更新为恶意更新。

优选的，本地更新数据由二元组标识，二元组中的元素包括客户端上的本地更新梯度、以及客户端训练完成符。