[发明专利]基于深度变分模型的空间显著性区域提取方法

说明书

技术领域

本发明属于计算机视觉领域，涉及一种基于深度变分模型的空间显著性区域提取方法。

背景技术

在日常生活中，我们观察图像时，通常只对整幅图像或整段视频中很小的较为显著的一部分感兴趣。因此，计算机模拟人类视觉系统时，主要通过检测图像中显著性区域进行模拟。显著性检测已逐渐成为计算机视觉领域非常重要的一门技术。在这个领域中，如何运用高效的方法从大场景中准确地检测、重构出空间显著性区域，是一个非常关键的技术。传统的显著性检测方法有多种，但对于某些图像，如图像中存在近景和远景，且远景距离观察者较远的图像，对于这类图像的显著性检测，结果不太符合人类视觉系统，检测结果还不太准确，也无法快速、准确建立目标物体的空间几何信息。申请号为201310658853.X的专利提出了一种基于显著性的快速场景分析方法，借鉴人类视觉系统神经机制来设计计算机视觉模型，提出了自底而上、各个特征图可并行的机制，并且将多个特征在多尺度下进行融合，最后合成一张综合的视觉显著性图。通过两层的胜者为王神经网络得到显著性区域，最后通过禁止返回机制，抑制当前显著性区域，转而寻找下一个显著性区域，直到遍历所有显著性区域。在一幅图像中快速提取人眼所能观察到的引人注意的区域。该方法只是针对二维场景的显著性区域提取，不能够提供空间显著性区域深度信息。因此，如何在整体场景深度图中自动提取显著性区域，并重建出三维显著性区域，仍存在很大的技术问题。

三维重建技术是当今视觉方面十分重要的一项应用，但是现有技术大多侧重于整体场景重建。为了更加真实模拟人眼视觉对空间显著性区域的感知，对空间显著性区域的三维重建技术逐渐成为新的关键性技术。

发明内容

针对现有技术中存在的上述问题，本发明中提出了一种基于深度变分模型的空间显著性区域提取方法。该方法利用并行跟踪与地图创建(Parallel Tracking and Mapping，PTAM)算法作为相机位姿估计手段，在关键帧处选取图像序列构造基于变分模型的深度图能量估计函数。由于本发明所述方法基于特定视角下不同坐标系间关联性，以及摄像机透视投影变换关系，使得该能量函数模型蕴含了多视成像约束，降低了算法模型求解的计算复杂度，提高了深度图估计质量。运用离散空间采样法获取初始深度图，基于TV-L¹模型建立能量函数，对函数求解，以实现对初始深度图的优化。通过改进显著性区域提取方法(Improved Salient Region Extraction，ISRE)实现对深度图显著性区域的准确提取，并结合相机投影模型实现当前环境下显著性区域三维重建，该方法对于解决空间显著性区域重建问题具有重大意义。

本发明采用如下的技术方案：

首先，对相机进行校正，选取图像中关键帧图像序列，运用离散空间采样法获取初始深度图，构造变分模式下深度估计模型的能量函数；然后，借助于原始对偶算法求解能量函数，实现深度模型优化；利用显著性滤波器算法(Saliency Filters，SF)对优化后的深度图进行显著性区域粗提取，进一步利用改进脉冲耦合神经网络(Pulse Coupled Neural Network,PCNN)对显著性区域进行优化，实现深度显著性区域准确提取；最后对三维显著性区域进行重建。具体包括以下步骤：

步骤1，进行相机校正。

在世界坐标系中，相机位姿T_cw可以表示为如下矩阵：

T_cw＝[R_cw,t_cw]         (1)式中，下标cw表示从世界坐标系到当前相机坐标系,T_cw∈SE(3)，且SE(3)：＝{[R，t]|R∈SO(3)，t∈R³}。t_cw、R_cw可由六元组ξ＝(μ₁，μ₂，μ₃，μ₄，μ₅，μ₆)表示，即：