[发明专利]一种可采集360度场景结构的全景深度相机系统

权利要求书

1.一种可采集360度场景结构的全景深度相机系统，该系统基座分四个面，每个面上并排放置两个鱼眼镜头相机，两个鱼眼镜头之间的距离为基线长度，其特征在于：即在系统的四个面上总共放置了八个鱼眼镜头相机，能够一次采集周围360度空间内的物体，根据场景范围远近和建模精度的要求可以适当选择基线长度。

2.根据权利要求1所述的一种可采集360度场景结构的全景深度相机系统，其特征在于：所述在一周范围内放置八个鱼眼镜头相机通过，单个鱼眼镜头的视场角能够达到190度；对于空间中的一个物体，能够被两个、三个甚至四个相机同时观测到。对于能够同时被三个或四个相机观测到的物体，其基线长度取决于两两之间的基线最长者。

3.根据权利要求1所述的一种可采集360度场景结构的全景深度相机系统，其特征在于：所述深度摄像头相机布置方案确定后，下面给出获取全景深度图像的流程；方法步骤如下：

(1)通过对外界物体的拍摄，对八个相机进行标定，确定每个相机的内参包括鱼眼镜头主点坐标(cx，cy)，鱼眼镜头畸变参数k_c＝(k₁，k₂，k₃)，同时也确定每个相机之间外参，包括相机坐标系针对世界坐标系的旋转矩阵R_i，相机在世界坐标系中的位置T_i；其中，三维空间点P＝(x，y，z)与第i个相机的图像坐标p_i＝(u，v)的关系由公式(1)～(4)给出；

则表示P在相机i坐标系下的空间点坐标，令则其入射角为：

根据相机畸变模型，其对应的图像像素在图像中的半径为：

r＝k₁*θ+k₂*θ³+k₃*θ⁵ (3)

则图像坐标可以由下式得出：

(2)根据上一步标定所得各相机内外参数，利用每一个朝向的一对立体相机拍摄得到的图像进行立体匹配，得到八张稠密的像素深度图像其值表示图像中的每一个像素距离相机光心的距离，以毫米为单位；

(3)在(2)的基础上，通过对每一张相机图像拍摄所得的图像进行Mean-shift图像分割，再将分割所得的每一个区域假设为3D空间中的一个平面，通过对进行平面拟合，优化所得到的深度图

(4)在(3)的基础上，对每张深度图上的像素所对应的空间坐标P＝(x，y，z)，利用其他相机的约束，最小化P的重投影误差d，消除噪声干扰带来的影响，得到深度图像D_i；其理论是，多个相机恢复出的各自的深度图像，其对于空间的描述应当具有一致性；即：理想情况下，相机j中的像素投影到相机i中，通过查询相机i中对应像素的深度，其应当和j具有相同的空间位置；通过公式(1)～(4)，定义p_i＝prj(P，i)为将空间点P投影到图像i中所得到的图像坐标，P＝bprj(p_i，i)为将图像像素p_i投影到空间中所得的坐标；

则对于图像j中的像素p_j＝(u_j，v_j)，其对应的空间坐标为P_j，到图像i中的像素的重投影误差可由公式(5)～(8)表示：

p_i＝prj(P_j，i) (5)

P′_i＝bprj(p_i，i) (6)

p′_j＝prj(P′_i，j) (7)

d＝||p_j-p′_j||₂ (8)

(5)在(4)的基础上，对八张深度图像D_i进行合成，得到全景深度图像，再通过全景深度图像和多频带融合(Multi-band Blending)，得到最终的全景图像。