[发明专利]一种多标签社交网络图像的标注方法及系统

说明书

本发明公开一种多标签社交网络图像的标注方法及系统，涉及社交网络图像标注技术领域，方法包括：获取图像数据集；根据图像数据集得到第一标签矩阵；利用柯西分布对第一标签矩阵进行去噪处理，得到第二标签矩阵；将图像数据集输入Resnet50残差网络，得到图像提取特征矩阵；将所述第二标签矩阵和所述图像提取特征矩阵输入CNN网络进行训练和优化，得到优化后的CNN网络；确定待标注特征向量；将待标注特征向量输入优化后的CNN网络中，得到待标注图像的标签。本发明能够实现对弱监督社交网络图像标签进行准确标注。

技术领域

本发明涉及社交网络图像标注技术领域，特别是涉及一种多标签社交网络图像的标注方法及系统。

背景技术

近年来随着社交网络的蓬勃发展，海量的社交网络图像在被网络用户共享和浏览。海量的图像数据使得精确检索变得困难，故现在迫切需要有效的图像检索技术。基于标签的图像检索是通过建立图像和标签之间的语义关系来进行的。图像标注对图像检索十分重要。目前，用户提供的标签虽然可以在一定程度上描述视觉内容信息，但是这些标签是不准确的。用户提供的标签可能只有一半可以描述图像的视觉内容。这是因为现实中社交网络标签通常是不完整、不准确的，甚至有非常大比例的图像是没有标签的(如MIRFlickr数据集中有超过50％的图片没有标签)，可见用户提供的标签是弱监督的。而这会增加相关多媒体任务的困难，所以通过学习图像视觉信息和标签语义之间的内在联系来提高社交图像的标签质量是非常必要的。

对于社交网络图像的重标注(多标签标注)问题，之前的工作提出了多种解决方法，例如采用矩阵分解来最小化噪声，从而学习图像-标签的内在关系。另外还有通过验证重标注标签矩阵的低秩性，来考虑图像视觉特征的一致性和标签之间的相关性。以及基于低秩非负模型，通过引入两个潜在因子矩阵来分离优化函数，来更好的减小重标注标签和观测标签之间的差别，并得到更理想的图像-标签关系模型。上述工作都验证了低秩非负模型在社交图像重标注任务中的有效性。

在前人的工作中，基于模型泛化能力的考虑，通常采用平方损失函数作为目标函数。这其中隐含的基本假设是社交标签中的噪声是服从高斯分布的。由于中心极限定理的特点，高斯概率密度函数被广泛应用于信号处理和图像分析等领域中。高斯分布可以很好的拟合最常出现的白噪声。但是在现实中，数据噪声的内在概率分布是未知的，可能存在各种类型的噪声。在真实噪音中，噪音源往往是多样的。假设噪音是由多个不同概率分布的随机变量加合而成，并且每一个随机变量都是独立的，那么根据中心极限定理，噪音分布随着噪音源数量的上升趋近于高斯分布。但是高斯分布能有效解决小噪声，对于大噪声过于敏感，而社交图像属于大噪声。

在图像标注任务中，图像特征对模型训练具有显著意义，具有更深语义的图像特征能显著提升训练效果。在很多工作中都采用了传统的特征提取方法(如Gist、SIFT、HOG)，这会导致深层语义的丢失。

目前，社交图片的多标签标注主要从两方面解决：标签相关性研究以及图片-标签关系研究。标签相关性研究主流方法是对标签矩阵进行矩阵分解，先进方法如：Li Z,TangJ.Weakly-supervised deep nonnegative low-rank model for social image tagrefinement and assignment(WDNL模型)，但是该方法没有对标签噪声进行分析，而在实际数据中，标签噪声分布未知。而对于图像-标签关系的研究，大多采用深度学习方法。现有的模型包括DMF、MPMF、LSCCA、TCCA、DNMF、WDMF、WDNL和DCE等模型，均存在无法对弱监督社交网络图像标签进行准确标注的问题。

发明内容

本发明的目的是提供一种多标签社交网络图像的标注方法及系统，从而实现对弱监督社交网络图像标签进行准确标注。

为实现上述目的，本发明提供了如下方案：

一种多标签社交网络图像的标注方法，所述方法包括：