[发明专利]基于最优相机选择的遮挡目标透视成像方法

摘要

本发明公开了一种基于最优相机选择的遮挡目标透视成像方法，用于解决现有基于能量最小化像素标记的合成孔径成像方法所成图像清晰度差的技术问题。技术方案是采用由近及远逐个深度成像的方式，将前面所有深度的遮挡物信息传递给下一个成像深度，从而穿透多个遮挡物进行透视成像。对于当前深度透视成像，转化为最优相机选择和图像拼接问题，利用能量最小化优化函数为每个像素点选择最优可视相机视角，获得拼接后的透视成像结果。由于将相机阵列合成孔径透视成像转化为最优相机视角选择和图像拼接问题，使得获得的成像结果更加清晰。

主权项

一种基于最优相机选择的遮挡目标透视成像方法，其特征在于包括以下步骤：步骤一、首先进行相机内外参数标定；阵列中共有N个相机视角，每个视角图像分辨率为mxn，利用基于二维标定板的标定方法进行内部参数标定，而后利用获取的内部参数标定相机的外部参数；将所有N个相机视角下的所有像素点标记为可选状态，指定第一个目标所在深度d1为当前成像深度；步骤二、对于指定成像平面上像素点(x,y)，利用相机参数，寻找在所有N个相机视角下的像素点坐标{(xi,yi)|i=1,2,…,N}；若1≤xi≤n&1≤yi≤m并且第i个视角下(xi,yi)为可选状态，则提取相应的像素值p(xi,yi)；这些像素值构成的集合记为S(x,y)，样本点个数记为NS(x,y)；将S(x,y)中样本点进行最近邻聚类，扫描所有样本点，将其分类到最近且满足最大距离阈值D的类别中，并更新相应的类中心，若未能分类成功，就建立新的类，并将当前样本作为这个类的中心；统计每个相机视角像素点(xi,yi)对应像素值p(xi,yi)所在类别中样本点个数Numberi(x,y)，那么每个相机视角的权重为wi(x,y)＝Numberi(x,y)/NS(x,y),i＝1,2,...,N；步骤三、将成像平面视角所有像素点集合记为Ω，相机标号集合记为C＝{1,2,...,N}，寻找从Ω到C的标签映射g:Ω→C，对于像素点(x,y)，如果g(x,y,d1)＝c,c∈C，那就表示第c个视角被选作点(x,y)在深度d1上的最优相机视角；建立当前深度d1上的目标能量函数：E(g,d1)=Ed(g)+Es(g)   (1)数据项Ed(g)表示所有像素点选择相机视角代价的总和，平滑项Es(g)是一个正则项，鼓励相邻像素点选择相同的相机视角，使得拼接得到的合成图像在局部区域内清晰平滑；数据项的计算公式如下： E d ( g ) = Σ ( x , y ) ∈ Ω ( 1 - w g ( x , y ) ( x , y ) ) - - - ( 2 ) wg(x,y)(x,y)表示点(x,y)选择第g(x,y)个相机视角的权重，该权重越大，对应的数据代价1‑wg(x,y)(x,y)越小，被选中的可能性就越高；平滑项Es(g)是一种前置正则化，能够促使整体标签平滑；这种前置是指两个相邻接像素在同一个相机视角下同时可见的可能性很大；当相邻两个像素的选择不同相机视角时进行惩罚： E s ( g ) = Σ ( x , y ) ∈ Ω ( u , v ) ∈ N ( x , y ) S ( x , y ) , ( u , v ) ( g ( x , y ) , g ( u , v ) ) - - - ( 3 ) S ( x , y ) , ( u , v ) ( g ( x , y ) , g ( u , v ) ) = 1 g ( x , y ) ≠ g ( u , v ) 0 otherwise - - - ( 4 ) 其中，N(x,y)表示(x,y)的邻域，通过最小化能量函数E(g,d1)，为每个像素点(x,y)寻找最优相机视角g(x,y)，使得整体达到最优；步骤四、对于点(x,y)，其选择的最优相机为第g(x,y)个相机，那么其在第g(x,y)个相机中对应于，取其像素值I(xg(x,y),yg(x,y))赋给点(x,y)，即完成了对点(x,y)的像素填充；将点(xg(x,y),yg(x,y))置为不可选状态，为后续成像深度提供信息；逐像素扫描所有mxn个像素点，对所有像素点进行填充和状态更新，即完成了当前深度上的透视成像；步骤五、指定下一个目标所在深度d2为成像，重复步骤二‑步骤四，直至没有要成像的目标为止。