[发明专利]基于多特征融合的图像检索方法

权利要求书

1.一种基于多特征融合的图像检索方法，包括如下步骤：

（1）提取图像特征：

（1a）对待检索图像集合中的所有图像提取8192维视觉词袋词频BoW特征；

（1b）对待检索图像集合中的所有图像提取960维GIST特征；

（1c）对待检索图像集合中的所有图像提取512维HSV颜色直方图特征；

（1d）通过离线训练学习，针对2659种基本语义标签，分别训练2659种语义标签的分类器，对待检索图像集合中的每幅图像，分别用这2659种分类器做预测，并将对应每一种分类器得到的预测分数连成向量，作为该图像的语义属性特征。

（2）根据步骤(1a)、（1b）、（1c）得到的三种图像特征，用欧式距离公式分别计算待检索图像集合中所有图像两两之间的相似性距离，分别得到步骤(1a)对应图像特征通道的邻接距离矩阵H₁'、步骤(1b)对应图像特征通道的邻接距离矩阵H'₂、步骤(1c)对应图像特征通道的邻接距离矩阵H'₃，每个矩阵中的每个元素值代表对应图像两两之间用对应特征计算得到的相似性距离；

（3）对图像进行粗检索，并选择参考图像：

（3a）根据步骤(1a)、（1b）、（1c）得到的图像特征，用欧式距离公式分别计算用户指定的查询图像和待检索图像集合中每幅图像之间在每一种特征通道上的相似性距离，构成对应三种特征通道的三组检索相似性距离向量；

（3b）利用上述三种特征通道的三组检索相似性距离向量分别对步骤（2a）得到的图像邻接距离矩阵H₁'、H'₂、H'₃进行扩展，即将对应特征通道的检索相似性距离向量添加到对应矩阵的第一行和第一列，得到分别对应所述三种特征通道的扩展后图像邻接矩阵H₁、H₂、H₃；

（3b）按照待检索图像集合中每幅待检索图像和用户给出的查询图像，将每一种特征通道的相似性距离从小到大分别排序，得到分别对应所述三种特征通道的粗检索排序列表l₁、l₂、l₃；

（3c）根据步骤（3b）得到的粗检索排序列表l₁、l₂、l₃，选取每一个列表的前k副图像构成目标集合，对于目标集合中的每幅图像按步骤(1d)所述的语义属性特征，将小于0的维度置0，大于0的维度置1，得到目标集合中每幅图像量化后的特征向量，并将所有量化后的特征向量做平均，得到对应的语义属性共现模式向量S；

（3d）利用欧氏距离公式，计算数据库中每幅待检索图像语义属性特征与上所述语义属性共现模式向量S的相似性距离，选取相似性距离最小的10幅图像作为参考图像；

（4）计算特征融合模板权重矩阵：

（4a）定义每一特征通道的检索结构关系函数：

Q(wm)=Σi=1A12(||xi~m-Σj≠iAwijmx~jm||22+xqm-w1imx~im||22),]]>

其中，A表示参考图像的个数，表示第i幅参考图像的第m种特征表示，表示第j幅参考图像的第m种特征表示，表示用户指定的查询图像的第m种特征表示，表示第m种特征通道对应的融合模板矩阵wm第i行第j列元素的值，||||₂代表矩阵的2-范数；

（4b）定义每一特征通道之间的检索结构关系函数：

R(wm)=Σm′=13Σi=1AΣk=1N-A12(||xi~m-wikmxkm||22-||xi~m′-wikm′xkm′||22),]]>

其中，N表示数据库中待检索图像的个数，表示第i幅参考图像的第m种特征表示，表示第i幅参考图像的第m'种特征表示，表示第k幅参考图像的第m种特征表示，表示第k幅参考图像的第m'种特征表示，表示第m种特征通道对应的融合模板矩阵wm第i行第k列元素的值，表示第m'种特征通道对应的融合模板矩阵wm'第i行第k列元素的值，||||₂代表矩阵的2-范数；

（4c）优化如下目标函数，得到每一图像特征的融合模板矩阵{w^m},m=1...3：

J=minwΣm=1MQ(wm)+λΣm′≠mMR(wm)+γΣm=1M||wm||1,s.t.Σjwij=1,wij≥0]]>

其中，λ和γ分别是给定的常数，||||₁代表矩阵的1-范数；

（5）图像精检索：

（5a）根据步骤（3a）得到的图像邻接距离矩阵H₁、H₂、H₃及步骤（4c）得到的每一种图像特征的融合模板矩阵{w^m}，计算融合后的图像邻接矩阵H：

H=Σmwm⊗Hm,m=1...3,]]>

其中，w^m表示第m种特征通道对应的融合模板矩阵，代表矩阵的模板点乘运算；

（5b）根据融合后的图像邻接矩阵H，按照其第一行的值从小到大排列，将得到排列结果的前k幅图像作为检索结果返回给用户。

2.根据权利要求1所述的基于多特征融合的图像检索方法，其中所述步骤(4c)中优化目标函数，按如下步骤进行：

（4c1）定义平滑函数H(w^m)=Q(w^m)+λR(w^m)，其梯度函数表示为；

（4c2）定义三种特征通道的融合模板权重矩阵分别为w¹、w²、w³，按列将每一特征通道对应的待求融合模板矩阵连接起来，表示为：w=[w¹|w²|w³]，其中，|表示矩阵列之间的分隔符；

（4c3）定义迭代次数变量为t，w第t次迭代的结果表示为w_t，设初始t=0，定义两个中间变量，即第一中间变量θ和第二中间变量矩阵v，其第t次迭代的结果分别表示为θ_t和v_t；分别抽取第二中间变量矩阵v_t的第m+t×N到m+(t+1)×N-1列，构成对应子矩阵，m=1...3，N代表数据库中所有待检索图像的数目；令初始θ₀=1，v₀=w₀=I_N×N，I表示N×N的单位矩阵；

（4c4）计算步骤（4c1）所述的梯度函数在第t次迭代变量v_t对应子矩阵上的值；

（4c5）按列将上一步骤得到的矩阵连接起来，得到全局梯度函数矩阵：

▿H(vt)=[▿H(vt1)|▿H(vt2)|▿H(vt3)],]]>

其中，|表示矩阵列之间的分隔符；

（4c6）根据上一步骤得到的全局梯度函数矩阵，计算第三中间变量L：

L=λmax(▿H(vt)),]]>

其中，λ_max代表矩阵最大的特征值；

（4c7）利用经典梯度最速下降法求解以下目标函数，得到融合模板矩阵w第t+1次迭代的结果w_t+1:

wt+1=argminw12||w-(vt-1L▿H(vt)||2+γL||w||1,]]>

其中，||||₂代表矩阵的2-范数，||||₁代表矩阵的1-范数，γ是给定的常数；

（4c8）计算w^t与w^t+1的差值，若w^t与w^t+1的差值小于0.001，则停止迭代，得到最优的特征融合模板矩阵w，否则执行步骤（4c9）；

（4c9）利用上一步得到的融合模板矩阵w在第t+1次迭代的结果w_t+1中，计算第一中间变量θ和第二中间变量矩阵v在第t+1次迭代的值：

θt+1=2t+3,]]>

vt+1=wt+1+1-θtθtθ(wt+1-wt),]]>

（4c10）令迭代次数变量t=t+1，返回步骤（4c4）继续迭代。