[发明专利]一种机器学习中训练数据隐私度量的方法和系统

权利要求书

1.一种机器学习中训练数据隐私度量的方法，其特征在于，包括：

S1.从物联网场景中的智能设备获取训练数据作为训练样本和非训练数据作为非训练样本，训练样本和非训练样本构成原始样本，并对原始样本进行逐特征的扰动添加，生成扰动数据集；

S2.将原始样本和生成的扰动数据集输入至待评估的物联网场景中智能设备上部署的机器学习模型，得到原始预测集和扰动预测集；

S3.利用扰动预测集和原始预测集分别构建训练样本对应的雅可比矩阵、非训练样本对应的雅克比矩阵，所述雅可比矩阵每一列代表模型输出对某一维输入特征的偏导数，每一行代表模型某一维度输出对所有输入特征的偏导数；步骤S3具体为，训练样本对应的雅可比矩阵构建过程具体为，

将训练样本对应的扰动预测集中每一数据项分量和训练样本对应的原始预测集中每一数据项分量逐次带入近似导数计算公式，得到待评估模型第i维输出对输入样本第j维特征的偏导数：

表示待评估模型对原始样本在第i维的输出值，表示待评估模型对扰动样本在第i维的输出值，表示在生成扰动样本时对第j个特征添加的，，c表示样本标签总类别的数量，m表示样本特征总数量；

将训练样本对应的所有维度输出对输入特征的近似偏导数整合，得到训练样本对应的雅可比矩阵：

非训练样本对应的雅克比矩阵构建过程同理；

S4.分别计算待评估模型在训练样本、非训练样本下的样本敏感度或特征敏感度；其中，样本敏感度为雅可比矩阵的范数值；特征敏感度为雅可比矩阵中原始样本真实标签对应行的范数值；

S5.计算训练样本和非训练样本对应的样本敏感度相对差，得到相对样本敏感度；或计算训练样本和非训练样本对应的特征敏感度相对差，得到相对特征敏感度；

S6.根据相对样本敏感度或相对特征敏感度，得到待评估模型隐私泄露风险的程度。

2.根据权利要求1所述的一种机器学习中训练数据隐私度量的方法，其特征在于，训练样本和非训练样本均包括多维特征和多个真实标签。

3.根据权利要求2所述的一种机器学习中训练数据隐私度量的方法，其特征在于，步骤S1具体为，对训练样本和非训练样本的每一维特征添加扰动；其中，；x表示训练样本或非训练样本某一维度的特征值。

4.根据权利要求1所述的一种机器学习中训练数据隐私度量的方法，其特征在于，样本敏感度相对差和特征敏感度相对差[0,1]。

5.根据权利要求4所述的一种机器学习中训练数据隐私度量的方法，其特征在于，根据用户实际应用需求，构建样本敏感度相对差或特征敏感度相对差与隐私泄露风险等级之间的对应关系。

6.一种机器学习中训练数据隐私度量的系统，其特征在于，包括：计算机可读存储介质和处理器；

所述计算机可读存储介质用于存储可执行指令；

所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行权利要求1至5任一项所述的机器学习中训练数据隐私度量的方法。