[发明专利]一种机器学习中训练数据隐私度量的方法和系统

摘要

本发明公开了一种机器学习中训练数据隐私度量的方法和系统，属于人工智能领域中的隐私安全领域。本发明针对实际场景下的机器学习模型黑盒接口查询机制，在评估过程中无需模型内部信息，仅计算并利用雅可比矩阵评估模型对数据样本和特征的敏感度，避免了评估过程中的隐私泄露；从基于梯度优化的理论出发，结合模型输出‑输入之间的关系，有效量化了模型中的数据隐私信息泄露的可能性；本发明不依赖单种隐私攻击，对大部分隐私攻击尤其是依赖模型梯度与预测输出的攻击极为有效。本发明在不需了解模型内部信息的条件下即可进行模型隐私泄露风险的评估，在评估过程中保证了模型和训练集的隐私的安全，为人工智能行业的蓬勃发展提供稳定保障。