[发明专利]一种机器学习中训练数据隐私度量的方法和系统

说明书

本发明公开了一种机器学习中训练数据隐私度量的方法和系统，属于人工智能领域中的隐私安全领域。本发明针对实际场景下的机器学习模型黑盒接口查询机制，在评估过程中无需模型内部信息，仅计算并利用雅可比矩阵评估模型对数据样本和特征的敏感度，避免了评估过程中的隐私泄露；从基于梯度优化的理论出发，结合模型输出‑输入之间的关系，有效量化了模型中的数据隐私信息泄露的可能性；本发明不依赖单种隐私攻击，对大部分隐私攻击尤其是依赖模型梯度与预测输出的攻击极为有效。本发明在不需了解模型内部信息的条件下即可进行模型隐私泄露风险的评估，在评估过程中保证了模型和训练集的隐私的安全，为人工智能行业的蓬勃发展提供稳定保障。

技术领域

本发明属于人工智能领域中的隐私安全领域，更具体地，涉及一种机器学习中训练数据隐私度量的方法和系统。

背景技术

近几年，随着人工智能行业的发展，以机器学习为首的技术广泛落地于目标检测、图像识别、语音识别等各个领域，给人们的生活带来了翻天覆地的变化。在机器学习中，给定匹配训练任务的数据集和初始模型，通过特定的优化算法，优化模型使其获得对训练集以外数据的预测能力。然而，模型在实现预测功能时存在安全隐患——数据泄露，这里的数据泄露不是指传统网络安全意义上的数据包的直接泄露，而是指通过某些攻击方法攻击模型，从而“还原”模型的训练集数据有关信息，典型的有模型萃取攻击、模型成员推断攻击等，分别用于还原模型某一类训练样本的原始数据、某一样本特定属性值以及判断某样本是否参与了训练。上述攻击手段不仅使得训练集中用户的个人隐私数据被侵犯，严重危害了机器学习技术的应用和发展。因此，有必要训练完成的模型做一个隐私泄露风险的评估，即衡量模型遭受隐私攻击的容易度，并根据风险的大小对模型结构、训练策略进行调整，直到确认模型泄露风险达到预设标准后再发布模型，以此规避各类攻击。

目前，国内外对机器学习模型训练样本的隐私攻击手段虽然种类繁多，但是对模型隐私泄露风险的评估手段，仅局限于利用某种特定的攻击方法，计算攻击方法的攻击成功率作为模型隐私泄露的可能性。这样的评估方法存在一定问题：1、部分攻击方法是基于白盒场景下实现的，但是在实际应用中，为了更好地保护模型，防止模型在评估过程中发生隐私泄露，模型评估者可能仅可得到黑盒机制的模型，黑盒条件限制了评估者对模型内部参数、结构、算法等的先验知识，评估者仅能给定模型任意数据，得到模型对该数据的预测结果，因此在这种条件下有效衡量模型隐私信息泄露程度也成为一大难题；2、一个模型泄露隐私的风险和模型结构、优化策略、数据集本身的信息量以及分类标签数目等因素有关，通过单种攻击方法，存在专一性和局限性，因为不同隐私攻击方法的性能存在差异——攻击成功率大不相同，跨攻击的成功率之间无法相互比较，这样的局限会降低评估方法的稳定性；3、根据单一的攻击方法得到的攻击成功率作为泄露风险存在一定局限性，即缺少空白对照的基准成功率，攻击成功率高虽然能说明该攻击方法效果好，但并不能说明模型容易遭受隐私攻击，因为单种攻击成功率和隐私泄露风险并不是正相关的线性关系。

综上所述，如何有效地从黑盒模型的表现上量化隐私泄露的风险，确保训练集的安全，保证机器学习模型的安全落地，是目前本领域技术人员亟需解决的技术问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种机器学习中训练数据隐私度量的方法和系统，其目的在于针对物联网中的黑盒模型，量化其隐私泄露的风险，确保训练集的安全，保证相关模型的安全落地。