[发明专利]基于视觉显著性的图像检索方法

摘要

本发明公开了一种基于视觉显著性的图像检索方法，对提取出的显著性区域的窗口的量化赋范梯度进行二元编码，主要解决现有大规模图像检索时不单独区分图像中物体的问题。其检索步骤为：(1)采用二值化赋范梯度BING目标检测方法，训练线性支持向量机SVM：(2)获取自然图像库图像滑窗的视觉显著性估值；(3)获取自然图像库中图像的哈希编码：(4)获取待检索自然图像滑窗的视觉显著性估值：(5)获取用于检索的滑窗：(6)获取待检索自然图像的哈希编码：(7)哈希编码值预处理：(8)度量相似度：(9)输出检索结果图像。

主权项

1.一种基于视觉显著性的图像检索方法，包括如下步骤：(1)采用二值化赋范梯度BING目标检测方法，训练线性支持向量机SVM：(2)获取编号图像滑窗的视觉显著性估值；(2a)输入自然图像库中图像，将其按照在自然图像库中存放顺序依次编号，得到编号图像；(2b)将编号图像作为处理图像采用二值化赋范梯度BING的目标估计方法，对编号图像滑窗中每个像素进行量化，得到滑窗的二值化赋范梯度BING值；(2c)对编号图像作为处理图像采用二值化赋范梯度BING的目标估计方法，将编号图像中每个滑窗的二值化赋范梯度BING值输入到已训练好的线性支持向量机SVM中，获得编号图像每个滑窗的视觉显著性估值；(3)获取编号图像的哈希编码：(3a)将每幅编号图像滑窗的视觉显著性估值从高到低排序；(3b)提取排序后每幅图像前s个滑窗作为待比较滑窗，s∈(5,10,15,...,100)，∈表示属于符号，对待比较滑窗从1到s依次进行编号；(3c)从每个待比较滑窗左上角开始，按照从左到右、从上向下的顺序，对每一个像素依次进行编号；(3d)按照下式，得到像素量化后的赋范梯度值：其中，G_m表示编号为m的像素量化后的赋范梯度值，表示向下取整操作，max(·)表示取最大值操作，m表示像素的编号，m的取值范围为m＝1,2,...,32，g_m表示编号为m的像素的二值化赋范梯度BING值；(3e)按照下式，生成压缩哈希编码：Rx＝dec2hex(G2m‑1×22+G2m),x＝m其中，Rx表示编号为2m与2m‑1两像素在压缩后的压缩哈希编码值，m表示像素的编号，m的取值范围为m＝1,2,...,32，dec2hex(·)表示10进制转换16进制操作，G2m‑1表示编号为2m‑1像素在量化后的赋范梯度值，G2m表示编号为2m像素在量化后的赋范梯度值，x表示压缩后哈希编码值的编号；(3f)按照下式，生成待比较滑窗哈希编码值：其中，K表示待比较滑窗哈希编码值，∑表示求和操作，Rx表示编号为x的压缩哈希编码值，x表示压缩后哈希编码值的编号；(3g)按照下式，生成编号图像哈希编码值：其中，A表示编号图像哈希编码值，∑表示求和符号，n表示滑窗的编号，n的取值为n＝1,2,...,s，s表示待比较滑窗数目，Kn表示编号图像编号为n的待比较滑窗哈希编码值；(4)获取待检索自然图像滑窗的视觉显著性估值：(4a)输入一幅待检索自然图像；(4b)将待检索自然图像作为处理图像采用二值化赋范梯度BING的目标估计方法，对待检索自然图像滑窗中每个像素进行量化，得到滑窗的二值化赋范梯度BING值；(4c)将待检索自然图像作为处理图像，采用二值化赋范梯度BING的目标估计方法，将待检索自然图像每个滑窗的二值化赋范梯度BING值输入到已训练好的线性支持向量机SVM中，获得待检索自然图像每个滑窗的视觉显著性估值；(5)获取用于检索的滑窗：(5a)将待检索自然图像滑窗的视觉显著性估值从高到低排序，作为人眼观察图像的感知关注程度值；(5b)提取排序后待检索自然图像的感知关注程度值高的前50个的滑窗；(5c)以提取滑窗时与该滑窗所在的量化梯度图之间一一对应的关系作为依据，查找每个滑窗生成时每个滑窗的量化梯度图，得到每个滑窗的量化梯度图的长度和宽度；(5d)将所提取的每个滑窗左上角第1个像素点横坐标的值、纵坐标的值分别作为该滑窗对应窗口的左边界值、上边界值；(5e)按照下式，计算所提取滑窗对应图像窗口的右边界值；其中，C表示所提取滑窗对应图像窗口的右边界值，[·]表示取整操作，i表示滑窗左上角第1个像素点的横坐标，W表示该滑窗生成时所在量化梯度图的长度，Wm表示待检索自然图像的长度；(5f)按照下式，计算所提取滑窗对应图像窗口的下边界值；其中，D表示所提取滑窗对应图像窗口的下边界值，[·]表示取整操作，j表示滑窗左上角第1个像素点的纵坐标，H表示该滑窗生成时所在量化梯度图的宽度，Hm表示待检索自然图像的宽度；(5g)由每个滑窗求出的左边界值、右边界值、上边界值、下边界值共同确定一个窗口，从待检索自然图像中裁剪出50个滑窗所确定的50个窗口，将50个窗口分别以图片形式显示；(5h)用户根据自身检索需求，从50个以图片形式显示的窗口中提取r个人眼关注程度高的窗口作为待检索窗口，r＝1,2,...,20；(5i)以滑窗与该滑窗对应图像窗口之间一一对应的关系作为依据，查找r个待检索窗口对应的r个滑窗，将查找到的滑窗作为用于检索的滑窗；(6)获取待检索自然图像的哈希编码：(6a)将r个用于检索的滑窗从1到r依次编号；(6b)从用于检索的滑窗左上角开始，按照从左到右、从上向下的顺序，对每一个像素依次进行编号；(6c)按照下式，依次对提取的每个用于检索的滑窗进行量化：其中，G_m表示编号为m的像素量化后的赋范梯度值，表示向下取整符号，max(·)表示取最大值操作，m表示像素的编号，g_m表示编号为m像素的灰度值；(6d)按照下式，生成压缩哈希编码：Rx＝dec2hex(G2m‑1×22+G2m),x＝m其中，Rx表示编号为2m与2m‑1两像素压缩后的压缩哈希编码值，m的取值范围为m＝1,2,...,32，dec2hex(·)表示10进制转换16进制操作，G2m‑1表示编号为2m‑1像素在量化后的赋范梯度值，G2m表示编号为2m像素在量化后的赋范梯度值，x表示压缩后哈希编码值的编号；(6e)按照下式，生成用于检索的滑窗的哈希编码值：其中，H表示用于检索的滑窗的哈希编码值，∑表示求和操作，Rx表示编号为x的压缩哈希编码值，x表示压缩后哈希编码值的编号；(6f)按照下式，生成待检索图像的哈希编码值：其中，B表示待检索图像的哈希编码值，∑表示求和符号，n表示滑窗的编号，r表示用于检索的滑窗的数目，Hn表示编号为n的用于检索的滑窗的哈希编码值；(7)哈希编码值预处理：(8)度量相似度：(8a)令f＝1，其中：f表示待检索目标序列、待比较目标序列从左到右的位数；(8b)判断待检索目标序列从左到右的位数f是否与图像边缘像素所在位数皆不相同，若是，执行步骤(8c)，否则，执行步骤(8f)；(8c)判断待检索目标序列从左到右第f位的值是否小于2，若是，执行步骤(8d)，否则执行步骤(8e)；(8d)判断待比较目标序列的第f位值是否小于2，若是，令待比较目标序列和待检索目标序列第f位相似度Uf＝1，执行步骤(8g)，否则，令待比较目标序列和待检索目标序列第f位相似度Uf＝0，执行步骤(8g)；(8e)判断待比较目标序列的从左到右第f‑9位、第f‑8位、第f‑7位、第f‑1位、第f位、第f+1位、第f+7位、第f+8位的值中是否存在一个大于等于2的值，若是，令待比较目标序列和待检索目标序列第f位相似度Uf＝3，执行步骤(8g)，否则，令待比较目标序列和待检索目标序列第f位相似度Uf＝0，执行步骤(8g)；(8f)按照下式，计算待检索目标序列和待比较目标序列第f位相似度：其中，Uf表示待比较目标序列和待检索目标序列第f位相似度，|·|表示取绝对值操作，f表示待检索目标序列、待比较图像目标序列从左到右的位数，If表示待检索目标序列第f位的数值，Of表示待比较目标序列第f位的数值；(8g)判断待检索目标序列从左到右的位数f是否等于64，若是，执行步骤(8h)，否则，令f＝f+1后执行步骤(8b)；(8h)按照下式，计算最高相似度：其中，表示第u个待检索目标序列与图像库中编号为i的图像的所有待比较目标序列之间的最高相似度，max(·)表示取最大值操作，u表示待检索目标序列的编号，u的取值为u＝1,...,r，r表示用于检索的滑窗的数目，∑表示求和操作，U_f^(u,t,i)表示第u个待检索目标序列和自然图像库中图像V_i的第t个待比较目标序列在第f位的相似度，t的取值为t＝1,...,s，s表示待比较滑窗数目，f表示待比较目标序列和待检索目标序列的位数，i＝1,2,...,N，N表示图像库中图像的总数；(8i)按照下式，计算量化相似度：其中，表示待检索目标序列第u个序列与图像库中编号为i的图像的所有待比较目标序列之间的量化相似度，u表示待检索目标序列的编号，u的取值为u＝1,...,r，r表示用于检索的滑窗的数目，表示第u个待检索目标序列与图像库中编号为i的图像的所有待比较目标序列之间的最高相似度，Z表示量化控制阈值，Z∈(45,51,....55)；i＝1,2,...,N，N表示图像库中图像的总数；(8j)按照下式，计算两图像相似度并存放：其中，P表示存放相似度的数组,P[i]表示用于存放待检索图像与自然图像库中编号为i的图像的量化相似度的位置，∑表示求和操作，r表示提取的用于检索的滑窗的数目,表示待检索目标序列第u个序列与图像库中编号为i的图像的所有待比较目标序列之间的量化相似度；i＝1,2,...,N，N表示图像库中图像的总数；(9)输出检索结果图像：(9a)将存放相似度的数组P中按从大到小的顺序进行排序，获取排序结果前20数组P的下标；(9b)从自然图像库中提取编号与排序结果前20数组P的下标数值相等的图像，将提取的20幅图像作为检索结果图像输出。