[发明专利]一种基于图片文本点击量的相近文本的合并方法

权利要求书

1.一种基于图片文本点击量的相近文本的合并方法，其特征在于包括以下步骤：

步骤1：提取查询文本的图像点击特征；

步骤2：基于图像相似度矩阵构建点击传播模型，更新点击特征向量，包括：相似度矩阵计算和点击传播模型的构建；

步骤3：构建基于热门查询的文本字典；基于查询文本的总的图像点击数，选择点击量相对较高的构成字典；

步骤4：基于步骤(3)得到的文本字典，对任意的查询文本利用稀疏编码为其归类；

步骤1所述的查询文本的图像点击特征由图片文本的实际点击量拼接构成：

通过Clickture数据集，获得图片的查询文本、点击数据和图片名称；从专类小数据集DogData获得查询文本的类别标签、图片名称；通过双方相同的图片名称，建立[图片名称，查询文本，文本标签类，点击量]数据集；而图片特征向量由图片文本的实际点击量拼接构成；

步骤2所述的点击传播模型：包括相似度矩阵计算和点击传播模型的构建；

2-1.首先通过K均值方法利用相似图片的深度视觉特征对每类相似图片进行聚类，获得若干个图像子类；

通过聚类索引获得新的点击特征

其中，是类别j中第i个聚类的点击向量，将初始的点击向量定义为：

2-2.建立相似度矩阵和点击传播模型：基于聚类索引及传播函数将传播前稀疏的点击向量转化为传播后较为稠密合理的点击向量

为了保持点击量与图像视觉特征的相似一致性，构建基于图像相似度的点击传播模型；在第j类中的第i个聚类，图像相似度矩阵G定义如下：

其中，G^j,i表示在第j类中的第i个聚类的图像相似度矩阵，φ_i是第i张图的深度视觉特征，是将第i类中第j个子类样本的索引集合；g_u,v指代同类中第u张和第v张的文本相似度；g_u,v通过Jaccard相似度计算获取；

利用图像相似度矩阵G，构建如下点击传播模型来更新点击特征：

其中，α是传播系数，E是单位矩阵，是归一化之后的数据图，定义如下：

其中，M^j,i为如下对角矩阵：

步骤3所述的基于热门查询的文本字典的构建，是基于步骤(2)得到任意文本的传播后的点击向量选择点击量相对较高的文本构成文本字典：

3-1.对所有的查询文本进行初步分类得到每类的文本集

其中，y_i代表文本的标签类别，c_i，j代表第j个文本在第i张图上的点击量；

针对每类文本集，选择点击量相对较高的文本构成字典；对于第k类字典D_k，有如下定义：

其中，s是文本集中关于点击量的倒序排列索引；

步骤4所述基于稀疏编码的相似文本的合并，基于步骤(3)得到的文本字典，对任意的查询文本利用稀疏编码为其归类；

4-1.稀疏编码：

针对第k类文本，每个查询词将会基于字典D_k以稀疏编码方式确定的线性表示：

其中，T为字典的项数约束比例系数，预测查询词的文本类别如下所示：

4-2.基于传播后点击向量的图像识别

基于查询词的文本类别得到K类文本集如下：

从而为每一张图片建立一个较为紧致的实际点击特征：

这种紧致的图片表征被用于图像识别，每一张图的预测类别由1-NN算法和模拟点击特征得到：