[发明专利]基于联合优化的多摄像机动态场景3D重建方法

权利要求书

1.一种基于联合优化的多摄像机动态场景3D重建的方法，其特征在于它的步骤如下：

1）利用多视图几何方法结合DAISY特征向量，对于同一时刻的多目视频帧进行立体匹配，得到多目视频每一时刻的初始化深度图，并且对于遮挡区域出现的明显深度错误，利用同步帧之间的可见性图来加以处理以获得更为精确的初始深度；

2）利用步骤1）得到的初始化的深度图，每个像素点具有两套变量需要推断：一为像素点深度值，二为像素点静态/动态分类，对像素点给出不同数据项惩罚函数来统一地衡量，对于静态点，用Bundle Optimization算法其数据项惩罚值，对于动态点，引入时空一致性约束来计算其数据惩罚值，然后迭代地优化方程，从而在优化深度图的同时对像素点的静态/动态标记进行推断。

2.根据权利要求1所述的基于联合优化的多摄像机动态场景3D重建方法，其特征在于所述的步骤1）为：

（1）利用多视图几何方法结合DAISY特征描述符，对于同一时刻的多目视频帧进行立体匹配，通过如下能量优化方程式求解每一时刻图像帧的初始化深度图：

ED(Dmt;I^(t))=Ed(Dmt;I^(t))+Es(Dmt)]]>

其中表示在t时刻的M个多目同步视频帧，表示第m个视频的t时刻的图像帧，表示第m个视频的t时刻的深度图；是数据项，表示中像素点与根据计算的中其余图像帧投影点之间的DAISY特征相似度，其定义如下：

Ed(Dmt;I^(t))ΣxmtΣm′≠mId(xmt,Dmt(xmt);Imt,Im′t)M-1]]>

其中是用来估计对应像素的DAISY特征相似度的惩罚函数，表示像素点的DAISY特征描述符，是利用投影至中的投影位置；是平滑项，表示相邻像素x、y之间的深度平滑程度，其定义如下：

Es(Dmt)=λΣxΣy∈N(x)min{|Dmt(x)-Dmt(y)|,η}]]>

其中平滑权重λ为0.008，深度差的截断值η为3；

（2）利用多目视频帧的初始化深度在3D空间中的一致性来判断每帧图像中的每个像素点在同一时刻其余摄像机中是否可见，从而得到同一时刻多个摄像机两两之间的可视性图；可视性图的定义如下：

Vm→m′t(xmt)=1|Dm→m′t(xmt)-Dm′t(xm′t)|≤δd0|Dm→m′t(xmt)-Dm′t(xm′t)|>δd]]>

其中表示在中是否可见，1表示可见，0表示不可见；δ_d是深度差异的阈值，是通过利用将投影至上计算得到的；利用所得到的可视性图，对每个像素计算总体可视性，如果在t时刻所有其余视频帧中均不可见，则为0，否则为1；

（3）对于总体可见性为的点，利用传统的对于时域相邻帧的颜色一致性约束来估计不可见像素点的深度值；

给定一个候选深度值d_i以及序列m′中的参考帧t′，基于和之间的颜色相似度定义以下深度一致性函数：

Lc(xmt,di;Imt,Im′t)=pc(xmt,xm′t′)]]>，

其中p_c衡量对应像素点和的颜色相似度，定义如下：

pc(xmt,xn′t′)=σσc+||Imt(xmt)-Im′t′(xm′t′)||l]]>

其中σ_c控制颜色差异的敏感度，像素点是根据候选深度d_i和摄相机参数投影至帧得到的对应点；

累积最邻近的20帧序列在相邻时刻的深度一致性，并利用以下公式计算总体可见的像素点的数据项：

Ed(Dmt;I^)=Σxmt1-Σm′=1MΣt′∈N(t)Lc(xmt,Dmt(xmt);Imt,Im′t′)M|N(t)|,]]>

其中N(t)表示t的相邻帧集合。

获得改进的深度图结果，利用Mean-shift算法来分割每帧图像，并将每个分割区域利用计算得到的数据惩罚值拟合为一个参数为[a,b,c][a,b,c]的3D平面。分割区域内的深度利用以下方法重新计算：d_x=ax+by+c。

3.根据权利要求1所述的基于联合优化的多摄像机动态场景3D重建方法，其特征在于所述的步骤2）为：

（1）每个像素点具有两套变量需要推断：一为像素点深度值，二为像素点静态/动态分类，0为静态且1表示动态，通过优化一个新的能量方程来为每帧图像估计一套联合标记图。新的能量方程定义如下：

EL(Lmt;I^,D^)=Ed(Lmt;I^,D^)+Es(Lmt).]]>

对于和利用不同的数据项惩罚函数，分别记为和。

（2）如果某个像素点为静态，用集束优化算法来计算其对于候选深度d_i的数据项惩罚值，给定视频序列m′中的一个参考帧t′，依据深度d_i将像素点投影至，投影点记为，通过衡量和之间的颜色和几何一致性来计算的深度度量函数：

Ld(xmt,di;Imt,Im′t′,Dm′t′)=pc(xmt,xm′t′)pv(xmt,xm′t′),]]>

其中p_c为颜色相似度，p_v为几何一致性，是通过计算反向投影误差而得到的，其定义如下：

pv(xmt,xm′t′)=σwσw+||xmt-lm′→mt′→t(xm′t′,Dm′t′(xm′t′))||l]]>

为将投影至所得到的投影点；

累积对于最邻近的20帧序列相邻时刻的深度度量值L_d，并利用以下公式计算静态像素点前提条件下的像素点的数据惩罚值：

ed0(xmt,di;I^,D^)=1-Σm′=1MΣt′∈N(t)Ld(xmt,di;Imt,Im′t′,Dm′t′)M|N(t)|.]]>

如果像素点为动态,采用时空一致性约束来计算动态像素点的数据惩罚值，这个数据惩罚函数结合了所有序列最邻近的10个时刻的一致性约束L_g，重新定义公式:

Ed(Lmt,I^,D^)=Σxmted(xmd,Lmt,(xmt);I^,D^),]]>

withed(xmt,lis;I^,D^)=ed0(xmt,di;I^,D^)s=0ed1(xmt,di;I^,D^)s=1]]>

L_d和L_g均为相同形式的颜色和几何一致性的乘积，和可以公平地竞争以推断出每个像素点的真实深度值；

（3）利用重新定义的数据惩罚项，迭代地优化方程从而在优化深度图的同时对像素点的静态/动态标记进行推断，每轮优化从第1帧开始，当所有序列全部帧的深度图优化和静态/动态分割完成时，一轮迭代宣告结束，一轮优化之后，所有静态和动态区域的深度图均有大幅度的改进。