[发明专利]一种基于图片文本点击量的相近文本的合并方法

说明书

本发明公开了一种基于图片文本点击量的相近文本的合并方法。本发明包括以下步骤：步骤1：提取查询文本的图像点击特征；步骤2：基于图像相似度矩阵构建点击传播模型，更新点击特征向量，包括：相似度矩阵计算和点击传播模型的构建；步骤3：构建基于热门查询的文本字典；基于查询文本的总的图像点击数，选择点击量相对较高的构成字典；步骤4：基于步骤(3)得到的文本字典，对任意的查询文本利用稀疏编码为其归类。本发明通过改进图像的点击特征向量来提高细粒度分类识别率。

技术领域

本发明涉及图像检索与识别领域，尤其涉及一种基于图片文本点击量的相近文本的合并方法。

背景技术

细粒度分类属于目标识别的一个子领域，其主要目的是对于视觉上非常相似的子类进行区分。与传统的图像分类相比，细粒度分类显得更具有挑战性，因为许多类别都非常相似难以区分，而这样的细节难以通过视觉特征区分。为了克服视觉特征的不足，有很多学者提出了使用点击特征进行细粒度的图像分类。

传统的点击特征向量是由图像文本的点击次数直接拼接构成。直接使用它至少会面临如下挑战：1)图像和文本存在语义鸿沟，相似图片下文本的点击量差异很大；2)点击特征的维度完全由文本数量决定，而图像检索一般涉及海量查询文本，进而使点击特征的维度过高。文本合并可以很大程度上缓解这个问题。

传统的文本合并是基于文本特征的相似度(如Google，WordNet)，然而文本之间即使相似，也可能存在较大的语义差别，比如“向前走了很长的路”和“向后走了很长的路”，文本上差距很小，在意义上却完全相反。

因此我们设计了一个基于点击特征的文本合并方法来合并语义相似的文本，以解决特征向量维度过大的问题。

发明内容

本发明的目的在于针对现有文本合并技术的不足，提供一种基于图片文本点击量的相近文本的合并方法。

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤1：提取查询文本的图像点击特征；

步骤2：基于图像相似度矩阵构建点击传播模型，更新点击特征向量，包括：相似度矩阵计算和点击传播模型的构建；

步骤3：构建基于热门查询的文本字典；基于查询文本的总的图像点击数，选择点击量相对较高的构成字典；

步骤4：基于步骤(3)得到的文本字典，对任意的查询文本利用稀疏编码为其归类。

步骤1所述的查询文本的图像点击特征向量由图片文本的实际点击量拼接构成：

通过Clickture数据集，获得图片的查询文本、点击数据和图片名称。从专类小数据集DogData获得文本类别标签，图片名称。通过双方相同的图片名称，建立[图片名称，查询文本，文本标签类，点击量]数据集。而图片特征向量由图片文本的实际点击量拼接构成。

实际情况下，很多相似图片真正的点击量差异非常大的。本发明使用点击传播的思想，针对每个文本，将其在一个图像下的点击量基于相似度值传播给与之相似的图像，使得文本的图片点击特征趋于合理。

步骤2所述的基于相似度的点击传播模型：包括相似度矩阵计算和点击传播模型的构建。

2-1.由于不同图片视觉差异较大，因为点击传播只在相似图片之间进行。首先通过K均值方法利用相似图片的深度视觉特征对每类相似图片进行聚类，获得若干个图像子类。

通过聚类索引获得新的点击特征

其中，是类别j中第i个聚类的点击向量，将初始的点击向量定义为：