[发明专利]一种基于语义映射空间构建的图像检索方法

权利要求书

1.一种基于语义映射空间的图像检索方法，其特征是按如下步骤进行：

步骤1、学习语义映射空间

步骤1.1、从网络图像数据集中获取训练图像数据集与未标注图像数据集，所述训练图像数据集包括n幅训练图像；所述未标注图像数据集包括m幅未标注图像；获取与所述n幅训练图像相对应的语义概念，并令相同的语义概念用一个索引号来索引，从而获得语义概念集G＝{g₁,g₂,...,g_γ,...,g_c}，γ为索引号，γ∈{1,2,…c}，c表征所述语义概念的个数，c≤n；

步骤1.2、提取所述训练图像数据集和所述未标注图像数据集中每幅训练图像和未标注图像的高维特征向量，从而获得高维特征向量集X＝{x₁,...,x_n,x_n+1,...,x_n+m}；d表示所述训练图像和未标注图像的特征维数；

步骤1.3、利用式(1)获得任意两个语义概念g_α和g_β之间的距离D_α,β，从而利用式(2)获得在所述语义概念集G中任意两个语义概念g_α和g_β之间距离D_α,β所组成的语义距离矩阵

$D_{\mathrm{\α},\mathrm{\β}}=\frac{max\left(\log f\right(g_{\mathrm{\α}}),\log f(g_{\mathrm{\β}}\left)\right)-\log f\left(g_{\mathrm{\α}},g_{\mathrm{\β}}\right)}{\log K-min\left(\log f\right(g_{\mathrm{\α}}),\log f(g_{\mathrm{\β}}\left)\right)}---\left(1\right)$

式(1)中：α、β∈{1,2,…c}分别表示语义概念g_α和g_β的索引号；f(g_α)表示包含语义概念g_α的训练图像个数，f(g_β)表示包含语义概念g_β的训练图像个数；f(g_α,g_β)表示既包含语义概念g_α又包含语义概念g_β的训练图像个数；K表示所述网络图像数据集中所有网络图像的个数；

步骤1.4、定义语义概念g_α在所述语义映射空间上的映射为语义概念原型由每一个语义概念所对应的语义概念原型构成语义概念原型矩阵P，

1.4.1、利用式(3)计算矩阵

$\stackrel{\‾}{D}=-\frac{1}{2}(I-\frac{1}{c}{11}^T)D(I-\frac{1}{c}{11}^T)---\left(3\right)$

式(3)中：为单位矩阵；表示全为1的列向量；

1.4.2、按照的分解形式对矩阵进行分解，获得矩阵V和Λ；Λ为特征值对角矩阵，V为对应的特征向量矩阵；

1.4.3、采用式(4)获得语义概念原型矩阵P，从而获得每一个语义概念所对应的语义概念原型p₁,p₂,...,p_α,...,p_c：

$P=\sqrt{\mathrm{\Λ}}V---\left(4\right)$

步骤1.5、利用式(5)学习图像映射矩阵W：

$W=\left(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{p}_{y_i}{x}_i^T\right){(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i{x}_i^T+\mathrm{\λ}I)}^{-1}---\left(5\right)$

式(5)中：表示第i幅训练图像的高维特征向量；y_i∈{1,2,…,c}表示第i幅训练图像的语义概念的索引号；λ为正则化参数；

由所述语义概念原型矩阵P和图像映射矩阵W获得所述语义映射空间

步骤2、利用式(6)获得所述未标注图像数据集中任一未标注图像所对应的语义概念的索引号θ，从而估计每个未标注图像的语义概念：

$\mathrm{\θ}=\arg \underset{\mathrm{\θ}\∈\{1,2,...,c\}}{min}\left|\right|p_{\mathrm{\θ}}-{\mathrm{Wx}}_t|{|}_2^2---\left(6\right)$

式(6)中：x_t表示所述未标注图像数据集中任一未标注图像的高维特征向量；t∈(n+1,…,n+m)；

步骤3、将语义概念g_θ所对应的未标注图像的高维特征向量以及未标注图像的高维特征向量组成向量集{x_θ1,x_θ2,...,x_θl}，并将所述向量集{x_θ1,x_θ2,...,x_θl}按照的大小进行升序排列；j∈{1,2,…,l}；

步骤4、输入待检索的文本查询词，找到所述文本查询词在语义映射空间中所对应的语义概念，并按照步骤3进行升序排列后，返回所述语义概念所对应的图像。

2.根据权利要求1所述的基于语义映射空间的图像检索方法，其特征是，当有新的语义概念加入到语义映射空间时，所述步骤1的语义映射空间是按如下步骤进行更新：

步骤2.1、利用式(7)获得新的语义概念g_c+1所对应的语义概念原型p_c+1：

$p_{c+1}=\arg \underset{p}{min}\underset{\mathrm{\θ}=1}{\overset{c}{\Σ}}{\left(\right||p-p_{\mathrm{\θ}}|{|}_2^2-{\left(D_{c+1,\mathrm{\θ}}\right)}^2)}^2---\left(7\right)$

式(7)中：D_c+1,θ为语义概念g_c+1和语义概念g_θ之间的语义距离，θ∈{1,2,…,c}；

并利用式(8)获得新的语义概念原型矩阵P^*：

P^*＝P∪p_c+1(8)

式(8)中：更新后得到的语义概念原型矩阵P^*＝{p₁,p₂,…p_c,p_c+1}；

步骤2.2、利用式(9)获得新的图像映射矩阵W^*：

$W^{*}=({\mathrm{\Σ}}_{i=1}^n{p}_{y_i}{x_i}^T+\underset{k=1}{\overset{q}{\mathrm{\Σ}}}{p}_{c+1}{x}_k^{\′T}){({\mathrm{\Σ}}_{i=1}^n{x}_i{x_i}^T+\underset{k=1}{\overset{q}{\mathrm{\Σ}}}{x}_k^{\′}{x}_k^{\′T})}^{-1}---\left(9\right)$

式(9)中：y_i为第i幅训练图像所对应的语义概念索引号；x′_k为所述新的语义概念g_c+1对应的第k幅图像的高维特征向量，k∈{1,2,…,q}；由所述新的语义概念原型矩阵P^*和新的图像映射矩阵W^*获得更新的所述语义映射空间