[发明专利]一种结合自底向上和自顶向下的图像感兴趣区域提取方法

说明书

技术领域

本发明属于图像检索和图像识别技术领域，涉及一种结合自底向上和自顶向下的图像感兴趣区域提取方法。

技术背景

传统的基于内容的图像检索中，只是提取了图像的底层特征，而没有考虑用户对图像的理解问题，因此检索结果并不理想。现有的研究表明，用户在观察图像时，最容易引起用户注意的部分往往是用户感兴趣的部分，也是图像中与周围其它部分对比更显著的部分。视觉注意模型就是用来得到图像中最容易引起注意的部分，同时由于图像检索系统检索结果的好坏与人们对图像的理解直接相关，不同的人因各种条件的不同，导致对同一图像的理解不一定相同。视觉注意模型能够得到图像中最显著的部分，因此将视觉注意模型引入图像检索能够有效地缩小图像底层特征与高层次语义之间的鸿沟。同时通过视觉注意模型提取用户感兴趣区域，可以缩小用户查询意图与图像检索系统理解间的差异，从而提高检索结果的相关度。

人们产生注意力主要有两方面的原因：一方面是由于视觉刺激引起的注意，另一方面是携带了观察任务，发现与所观察任务相匹配的特定对象所引起的注意。基于此，视觉注意模型分为两种类型：自底向上的注意模型和自顶向下的注意模型。自底向上模型是由视觉刺激驱动或数据驱动的信息处理过程，是基于输入图像的特征显著度来计算的。执行过程中，不考虑特定的认知任务对视觉注意和眼动的影响，属于低级的认知过程。实现自底向上注意模型大都采用适当的滤波器对场景的不同特征(如纹理、颜色、方向、运动等)进行滤波，把特征的响应作为显著度，然后对特征显著度进行建模，选出显著度大的点作为注意焦点。自顶向下模型是由观察任务驱动的信息处理过程，是通过调整选择准则，以适应外界命令的要求，从而达到将注意力集中于特定对象，属于高级的认知过程，是慢速的注意机制。自顶向下模型属于高级视觉的注意力，通常由作为高层知识的观察任务驱动，根据任务需求有意识地控制其内部信息处理过程，从而获得用户期望的感兴趣区。由于高层知识的参与，因此，自顶向下比自底向上模型更加复杂，目前这方面的研究成果比较少。

视觉注意模型比较成熟的主要是自底向上注意模型，如Itti-Koch模型、Stentiford模型等。Itti和Koch根据生物学上的依据，模拟哺乳动物的视觉处理过程，提出了经典的视觉注意模型——Itti-Koch模型。该模型能够快速的得到一幅图片中的“显著区”，即能够吸引用户兴趣的区域。Itti-Koch模型的优势在于其寻找显著区的速度比较快，而且由于加入反馈抑制机制，使得同一个显著点只能被系统发现一次。但Itti-Koch模型得到的显著区域较小，且其显著区呈圆形，与物体的实际形状不符。而Stentiford模型的显著区虽然比较大，也符合生物研究结果，但其需要大量的计算时间，效率比较低。

Navalpakkam和Itti于2006年提出通过对Itti-Koch模型中的每一个初始显著图赋予不同的权重来实现Top-Down和Bottom-Up相结合的观点。一个特征维的显著度Sj的计算，是将该维内的Bottom-Up显著度Sij乘以一个Top-Down权重gij而得到；在得到一个特征维的显著度后，再通过不同的特征维显著度乘以不同的Top-Down权重gj将多个特征维的显著度结合起来，从而得到整体图像的显著度图。2006年，Marques和Mayron等人提出将Itti-Koch模型和Stentiford模型相结合的观点，首先根据Itti-Koch模型产生潜在的显著区，然后再根据Stentiford模型对显著区的扩展边界进行限制，从而得到感兴趣区域。