[发明专利]基于关键区域动态分析的图片隐私风险预测方法与系统、模型训练方法与系统

说明书

本发明公开了一种基于关键区域动态分析的图片隐私风险预测模型训练方法，包括以下步骤：提取训练数据集中的图片的初步特征；将所述初步特征进行聚类以获得所述图片的多个关键区域及其特征；基于所述多个关键区域的特征，利用神经网络学习所述图片的多个关键区域的相关性矩阵；根据所述相关性矩阵融合所述多个关键区域的特征以获得所述图片的融合特征；基于所述融合特征预测所述图片的隐私风险。

技术领域

本发明涉及深度学习领域，特别涉及一种基于关键区域动态分析的图片隐私风险预测方法与系统、模型训练方法与系统。

背景技术

社交网络已成为日常生活的一部分，人们已习惯于每天在社交网络上发布大量图片，用于记录和分享生活。据统计，每天在Instagram和Facebook上分别有超过1亿和3亿张图片被上传。从2014年以后，图片取代纯文本，成为用户中最流行的一种分享形式。

然而，分享的图片中带有大量信息，可能会泄漏用户的隐私。因此，便捷的图片分享也带来了关于隐私泄露的问题。分享的图片可能被恶意利用，甚至导致一些严重后果。此外，利用数据挖掘、信息检索等技术，更多隐含的信息可能被发掘出来。

社交网络平台允许用户设置内容的可见度以保护用户隐私，然而还是存在用户无意间分享会泄露隐私的图片的可能。尽管人们对于何种图片会泄露隐私有一定的共识，然而用户实际对图片的隐私设置和他们的期望之间存在差异，这是由于用户在面对图片而非具体的隐私内容时，常常会低估待分享图片的隐私风险。因此，图片隐私这一问题正引起越来越多的关注，并且对于上述问题，需要一种帮助用户减少图片分享时泄露隐私风险的方法来解决。

在现有技术中，一种有效的方法是推断用户分享图片中的隐私风险，识别出可能泄露隐私的图片，并加以预警。其中，一部分现有方法利用图片整体信息，使用机器学习方法进行分类，缺乏可解释性及对本任务的针对性；另一部分现有方法基于物体检测，找出涉及隐私的物体，进一步融合这些物体的特征进行预警，但受限于预定义物体的类别，难以应对预定义列表外物体导致的图像隐私泄漏。

发明内容

针对以上存在的问题，本发明的主要目的在于提出一种基于关键区域动态分析的图片隐私风险预测方法与系统、模型训练方法与系统，能够自动关注图片中的关键元素，如物体、场景、纹理等信息，并且动态构建关键元素之间的关联，预测图片的隐私风险，并对高隐私风险的图片加以预警，提醒用户谨慎上传。

为了实现上述目的，本发明提出了一种基于关键区域动态分析的图片隐私风险预测模型训练方法，包括：步骤1，提取训练数据集中的图片的初步特征；步骤2，将所述初步特征进行聚类以获得所述图片的多个关键区域及其特征；步骤3，基于所述多个关键区域的特征，利用神经网络学习所述图片的多个关键区域的相关性矩阵；步骤4，根据所述相关性矩阵融合所述多个关键区域的特征以获得所述图片的融合特征；步骤5，基于所述融合特征预测所述图片的隐私风险。

上述的基于关键区域动态分析的图片隐私风险预测模型训练方法，其中，所述训练数据集中的图片分类为公开图片和隐私图片，其中所述公开图片被标注为0，所述隐私图片被标注为1。

上述的基于关键区域动态分析的图片隐私风险预测模型训练方法，其中，所述步骤2包括：步骤21，利用所述训练数据集预训练隐私预测分类模型；步骤22，将所述图片在所述隐私预测分类模型用于分类前的最后一个特征图在通道维度进行聚类以获得所述多个关键区域；步骤23，将所述多个关键区域对应的所述初步特征进行加权平均以获得所述多个关键区域的特征。

上述的基于关键区域动态分析的图片隐私风险预测模型训练方法，其中，所述步骤4包括：步骤41，利用所述多个关键区域的特征初始化图神经网络的多个节点，利用所述相关性矩阵初始化所述图神经网络的关联矩阵；步骤42，利用所述图神经网络融合所述多个关键区域的特征以获得所述图片的融合特征。