[发明专利]一种多模态数据融合训练中的隐私参数优化方法

权利要求书

1.一种多模态数据融合训练中的隐私参数优化方法，其特征在于，包括以下步骤：

S1：客户端用户对隐私保护效果进行设定；

S2：客户端针对文本、图像、音频的各类型数据使用对应的隐私保护方法进行脱敏处理，对脱敏处理后的数据进行单独模态的分类训练，得到目标训练结果；

S3：得出包含敏感数据准确率和非敏感数据准确率的各模态的分类准确率，进行局部反馈判断敏感数据准确率是否满足用户需求；若敏感数据准确率高于用户设定的敏感数据准确率上限，则分别记录并调整当前文本的隐私参数、音频的隐私参数、图像的隐私参数，回退至步骤S2，根据调整情况记录；若敏感数据准确率满足用户需求则将加入隐私保护后的数据及分类结果上传至服务器；

S4：基于权重自分配算法完成信息融合，得出最终的目标分类结果及敏感信息分类结果；

S5：服务器分别对敏感及非敏感数据分类结果进行评估，根据评估结果向客户端进行整体反馈，调整并记录隐私参数，回退到步骤S2；

所述步骤S2中所述脱敏处理需缓存当前脱敏数据，并处理后期步骤提供的反馈信息，所述脱敏处理包括以下模块：文本脱敏模块、音频脱敏模块、图像脱敏模块；

所述文本脱敏模块包括以下操作：设置隐私参数，为每个敏感词类型分配一个敏感词库，以隐私参数为比重，将采集的文本数据与比例的敏感词库进行对照，若符合则对该敏感词进行替换，替换为无关信息，并将原始信息保留，用于接受反馈后进行处理；若局部反馈高于用户设置的敏感信息识别准确率阈值，则将文本敏感词范围参数调大，并将原始参数记录为下限，利用原始数据重新进行脱敏处理；

所述音频脱敏模块通过差分隐私机制，根据隐私预算参数为音频添加基于差分隐私的高斯噪声，并将原始信息保留，用于接收反馈后进行处理，若局部反馈高于用户设置的敏感信息识别准确率阈值，则将音频的隐私预算参数调小，并将原始参数记录为上限，利用原始数据重新添加高斯噪声；

所述图像脱敏模块根据隐私预算参数通过对抗算法对图像特征方面进行加噪，并将原始数据保留，用于接受反馈后进行处理，若局部反馈高于用户设置的敏感信息识别准确率阈值，则将图像的扰动参数调大，并将原始参数记录为下限，利用原始数据重新加噪；

所述步骤S4中所述权重自分配算法包括：

基于注意力机制分配权重：通过协方差描述不同模态的相似性，依据与注意力关注对象的相关程度设计打分函数，给每个模态计算一个score，对所得到的score，通过一个softmax函数，得到最后的权重：

；

基于强化学习一般建模过程更新权重：通过融合函数，计算最优解，其中W为权重矩阵，X为各模态数据；

所述步骤S5的所述评估方法通过将与进行比较，确保多模态融合后的分类结果大于单个模态分类结果。

2.根据权利要求1所述的多模态数据融合训练中的隐私参数优化方法，其特征在于，所述步骤S1中所述设定包括设定敏感信息保护项目和用户可接受的分类器对设定敏感信息识别准确率的阈值。

3.根据权利要求1所述的多模态数据融合训练中的隐私参数优化方法，其特征在于，所述步骤S3中调整记录的操作若为调大所述隐私参数则记录为下限，调小所述隐私参数则记录为上限；文本、音频、图像分别对应调整文本敏感词范围、差分隐私中的隐私预算、图像中的扰动大小。

4.根据权利要求1所述的多模态数据融合训练中的隐私参数优化方法，其特征在于，所述步骤S5的所述评估方法中，若所述分类结果小于单个模态分类结果，则判定分类失败，向客户端发送包含整体非敏感准确率、分类结果参数和敏感信息准确率，客户端根据分类失败结果依次调小敏感词范围、调大隐私预算、调小扰动大小，并记录原始参数为，回退到步骤S2；若判定为分类成功，则继续比较敏感信息准确率和用户设定的敏感数据准确率上限，若高于上限则依次调大敏感词范围、调小隐私预算、调大扰动大小，并记录原始参数为，回退到步骤S2。