[发明专利]面向图像分享网站图片的多重配对相似度确定方法

说明书

技术领域

本发明涉及图像处理技术领域，具体的说，涉及的是一种面向图像分享网站图片的多重配对相似度确定方法。

背景技术

在如今的信息时代，互联网上众多的图片分享社区（如Flickr，Tumblr，Instagram等）每天都产生了海量的用户上传图片，如何有效地管理与检索这些图片开始得到了人们的重视。传统的图片搜索引擎主要使用图片周边的宏信息(metadata)，尤其是其中的文字(textual)信息来进行检索，并取得了一定的效果。当遇到文字标注不完备或不存在的情况时，就需要使用图片的视觉(visual)信息来辅助检索功能。在机器视觉领域，语义鸿沟(semantic gap)是一个很著名的概念，它指出低层的视觉特征与高层的语义特征之间存在着很大的区别。

针对海量的互联网图片，目前研究的主要方向是使用图模型或概率模型来进行分析。图模型的方法主要分两类。第一类是传播模型(graph propagation)，即从初始查询开始，通过对时间、地点、文字和视觉特征量化并计算相似度，进而找到最相近的图片、关键词或用户。重复这一过程，得到与查询最相近的图片集，通过它们的标注信息即可为查询图片进行标注。第二类是分割模型(graph partition)，主要想法是使用图分割算法，把图片分类成几种。根据图模型的不同建立方法(如二部图或三部图)和不同的分割算法(最小切Mincut、隐狄利克雷分布LDA等)，算法有很多种演变。

另一个引人注目的发展是社交网络信息在图片搜索中的应用。许多图片搜索网站都存在社交网络的特征，用户可以通过分享或喜欢朋友上传的图片来进行互动，社交网络的出现大大影响了用户对图片的获取和分析结果。目前也有一些方法对这方面进行了研究。

针对图像聚类、图像标注、标签网络分析等内容，学术界进行了广泛的尝试。但是很少的工作能够做到把这些问题统一到一个框架中。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种面向图像分享网站图片的多重配对相似度确定方法，可以用于图像聚类、图像标注、标签网络分析等。

本发明针对图像聚类、图像标注、标签网络分析等内容，指出“相似度”这一概念是所有问题中共通的核心内容。为此，引用Wang et al.2011年的一篇文章”Coupled nominal similarity in unsupervised learning”中提出的配对相似度(coupled similarity)的概念。配对相似度的构成包括两方面，其一是取决于属性内取值的相似度(如标签是一个属性，barack和obama常常共同出现，他们的相似度会很高)，另一个是取决于不同属性间协同关系的相似度(如”香蕉”和”梨”两个标签，他们对应的图片在颜色上会很相似)。配对相似度通过衡量这两种相似度共同作用的结果，最后获得两个目标（这里是图片）之间的相似度。

在原始的配对相似度确定方法中，每个物体与属性之间的关系是一一对应关系（如每张图片对应一个上传时间）。但在社交网络图片分析这一应用中，图片与标签之间的关系是一个一对多关系，一张图片可能包含着几个甚至几十个标签。为此，本发明设计了一个针对物体与属性取值间一对多关系的改进方法。

除图片-图片相似度外，本发明也可以得到每个属性不同取值之间的相似度，如两个标签的相似度或两个用户的相似度等。这些相似度一起构成了整体系统的基础，进而应用于图像聚类、图像标注等问题上。

本发明通过以下技术方案实现的，本发明在计算图片相似度时，考虑其每项属性的相似度，综合考虑属性内相似度(Inter-coupled similarity)和属性间相似度(Intra-coupled similarity)。

具体的，一种面向图像分享网站图片的多重配对相似度确定方法，包括如下步骤：

第一步，提取图片的上下文属性特征和图像视觉特征；

第二步，随后计算属性取值之间的相似度，由属性内和属性间两部分组成；

第三步，然后将属性值相似度转换成图片相似度；

第四步，再利用图片相似度进行图像分享网站图片集的分析，包括图片聚类、图片标注、网络分析和图片发掘。

所述的属性内相似度代表属性f的两个取值a_i，a_j间的相似度，是指仅考虑此属性自身，相似度由自身物理意义（图像视觉特征）或属性值共生矩阵（标签）来计算。