[发明专利]一种多模态数据融合训练中的隐私参数优化方法

说明书

本发明公开了一种多模态数据融合训练中的隐私参数优化方法，包括以下步骤：S1：客户端用户对隐私保护效果进行设定；S2：客户端针对文本、图像、音频的各类型数据使用对应的隐私保护方法进行脱敏处理，对脱敏处理后的数据进行单独模态的分类训练；S3：得出包含敏感数据准确率和非敏感数据准确率的各模态的分类准确率，判断敏感数据准确率是否满足用户需求；S4：基于权重自分配算法完成信息融合，得出最终的目标分类结果及敏感信息分类结果accsubgt;ns/subgt;，accsubgt;s/subgt;；S5：服务器分别对敏感及非敏感数据分类结果进行评估。本发明提供的隐私参数优化方法，可有效提高分类结果的准确性，在满足用户隐私保护需求的前提下达到最佳准确率。

技术领域

本发明涉及多模态学习、隐私保护技术领域，具体为一种针对多模态深度学习隐私保护的数据可用性优化方法。

背景技术

多模态深度学习的目标是创建可以使用各种模态处理和链接信息的模型。单模态学习虽然得到了广泛的发展，但还不能涵盖人类学习的所有方面。多模态学习有助于更好地理解和分析不同感官参与信息处理的过程。多模态学习可以聚合多源数据的信息，使得模型学习到的表示更加完备。以视频分类为例，同时使用字幕标题等文本信息、音频信息和视觉信息的多模态模型要显著好于只使用任意一种信息的单模态模型。

多模态学习中一般针对各个模态进行分别隐私保护。比如多模态专利殷丽华等提出一个面向多模态深度学习的隐私保护方法，根据不同隐私保护场景、不同模态数据有针对性地设计了不同的隐私保护方法，在保证业务任务准确率的前提下，有效实现用户隐私保护。但是为数据添加隐私保护时，由于多种隐私保护机制叠加，导致融合训练时出现数据可用性危机，而此类方法并未在数据可用性和隐私保护效果之间做出权衡，使数据可用性与保护效果达到最佳范围。

总的来说，现有技术的问题在于：部分多模态深度学习任务加入了隐私保护手段，但是有可能由于过于强调隐私保护效果而大幅降低数据的可用性，造成多模态分析结果低于单模态分析结果的准确率。此类方法并不能保证数据可用性与保护效果达到最佳范围。

发明内容

有鉴于现有问题，本发明的目的在于提供一种多模态数据融合训练中的隐私参数优化方法，以解决上述问题。

本发明提供如下的技术方案：

一种多模态数据融合训练中的隐私参数优化方法，包括以下步骤：S1：客户端用户对隐私保护效果进行设定；S2：客户端针对文本、图像、音频的各类型数据使用对应的隐私保护方法进行脱敏处理，对脱敏处理后的数据进行单独模态的分类训练，得到目标训练结果acc_T,acc_A,acc_V；S3：得出包含敏感数据准确率和非敏感数据准确率的各模态的分类准确率，进行局部反馈判断敏感数据准确率是否满足用户需求；若敏感数据准确率高于用户设定的敏感数据准确率上限，则分别记录并调整当前文本、音频、图像的隐私参数θ_t,∈,θ回退至步骤S2，根据调整情况记录θ_tmin,∈_max,θ_min；若敏感数据准确率满足用户需求则将加入隐私保护后的数据及分类结果上传至服务器；S4：基于权重自分配算法完成信息融合，得出最终的目标分类结果及敏感信息分类结果acc_ns，acc_s；S5：服务器分别对敏感及非敏感数据分类结果进行评估，根据评估结果向客户端进行整体反馈，调整并记录隐私参数，回退到步骤S2。

步骤S1中的设定包括设定敏感信息保护项目和用户可接受的分类器对设定敏感信息识别准确率的阈值。

步骤S2中脱敏处理需缓存当前脱敏数据，并处理后期步骤提供的反馈信息，脱敏处理包括以下模块：文本脱敏模块、音频脱敏模块、图像脱敏模块。