[发明专利]基于低秩纹理的摄像机位置和姿态测量方法

摘要

基于低秩纹理的摄像机位置和姿态测量方法，属于计算机视觉测量技术领域。其特征是：将室内场景中的一些低秩纹理如天花板上的方格纹理，用于摄像机位置和姿态的测量。通过摄像机拍摄低秩纹理的图像，用欧拉角表示摄像机拍摄时的投影矩阵，并通过求解关于低秩纹理成像模型的优化问题求得表示摄像机姿态的欧拉角；再进一步结合场景中纹理的几何关系和摄像机成像原理解出摄像机在场景中的位置。本发明的效果和益处是，能够利用室内场景中的低秩纹理特征实现摄像机姿态和空间位置6个自由度的测量，且在测量过程中，摄像机可以转动，从而使视觉测量的应用范围更广。

主权项

基于低秩纹理的摄像机位置和姿态测量方法，其特征在于，步骤如下：步骤一：获取包含低秩纹理的图像用标定好焦距和主点位置的摄像机对场景中的低秩纹理进行拍摄，获得包含低秩纹理的图像；步骤二：利用拍摄的低秩纹理图像求解摄像机拍摄姿态在CCD中心建立图像坐标系，在低秩纹理平面上建立世界坐标系，在摄像机光心处建立摄像机坐标系，并基于上述坐标系推导出低秩纹理上一点在三个坐标系中的坐标之间的关系，如式(2):$s\·\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=N\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right]=N\left[\begin{array}{cc}{R}_w^c& T_w^c\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]$其中$N=\left[\begin{array}{ccc}f/\mathrm{dx}& 0& u_0\\ 0& f/\mathrm{dy}& v_0\\ 0& 0& 1\end{array}\right],R_w^c=\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right],T_w^c=\left[\begin{array}{c}{t}_1\\ t_2\\ t_3\end{array}\right]---\left(2\right)$式(2)中(u,v)为低秩纹理上一点的像素坐标，(x_c,y_c,z_c)为该点在摄像机坐标系中的坐标，(x_w,y_w,z_w)为该点在世界坐标系中的坐标；s为一个非零的比例因子，N为摄像机的内参数矩阵，f为摄像机的焦距；dx,dy分别表示U、V方向的像元尺寸，(u₀,v₀)为摄像机光心在图像坐标系中的坐标,也即主点坐标；分别表示摄像机相对于世界坐标系的旋转矩阵和平移矩阵；用欧拉角表示摄像机拍摄低秩纹理时的投影矩阵；并基于式(2)将低秩纹理成像模型修改为基于欧拉角的低秩纹理成像模型，将摄像机姿态的求解问题转化为一个优化问题:其中I₀表示原始的低秩纹理图像，I表示低秩纹理的实际拍摄图像，τ表示投影变换所依赖的参数集，包含6个参数,分别为摄像机坐标系各轴绕世界坐标系各轴旋转的三个欧拉角θ_x、θ_y、θ_z和表征摄像机光心相对于世界坐标系原点的归一化位移量t′₁,t′₂,t′₃；符号о表示将投影变换作用在I上的一种运算，E表示随机噪声，||E||₀表示随机噪声E中非零元的个数，λ为E的权值；利用增广拉格朗日乘子法求解该优化问题，解出表示摄像机姿态的欧拉角参数；求解欧拉角的具体步骤如下：S1、接受所拍摄的低秩纹理图像作为输入图像，设定τ的初值为τ₀＝(0,0,0,0,0,1)，其前三个参数表示欧拉角的初始值，后三个值表示归一化位移的初始值；选定收敛精度ε＞0；选定权值λ＞0；S2、在输入图像上取含有低秩纹理的矩形窗，所得图像记为I；S3、对图像I，重复以下迭代步骤，直到目标函数f＝||I⁰||_*+λ||E||₁全局收敛:将图像I进行归一化，并将归一化的值重新赋给I；对I求取关于欧拉角和归一化位移的雅克比矩阵；用增广拉格朗日乘子法求解式(12)所表述的问题，得到τ的局部最优解τ':$\begin{array}{ccc}\underset{I_0,E,\mathrm{\Δ\τ}}{\min }{\left|\right|I_0\left|\right|}_{*}+\mathrm{\λ}{\left|\right|E\left|\right|}_1& s.t& I(u_{\mathrm{ij}}\left(\mathrm{\τ}\right),v_{\mathrm{ij}}\left(\mathrm{\τ}\right))+\▿I_{\mathrm{\τ}}(u_{\mathrm{ij}}\left(\mathrm{\τ}\right),v_{\mathrm{ij}}\left(\mathrm{\τ}\right))\mathrm{\Δ\τ}=I_0+E\end{array}---\left(13\right)$其中||I₀||_*表示I₀的核范数，||E||₁表示随机噪声E中非零元的个数的l1‑范数，I(u_ij(τ),v_ij(τ))为用像素值(u,v)表示的图像I，且u,v均是关于τ的函数，为I关于τ的雅克比矩阵，Δτ为τ的增量，i,j分别表示I的行序号和列序号；应用о运算，将局部最优解τ'对应的投影变换作用在图像I的每一个点上，这样I便转化成了一幅新的图像；将所得的新图像重新赋值给I；S4、输出全局最优解τ^*，其前三个值即为表示摄像机姿态的欧拉角的值；步骤三：利用成像原理和低秩纹理几何关系求解摄像机在空间中位置在低秩纹理上选取两个特征点，测量其在空间中的几何关系，计算其在世界坐标系下的坐标，同时从摄像机拍摄的图像上提取特征点对应的像素点，得到特征点的像素坐标；利用针孔成像原理推导出摄像机位置的求解公式：$\begin{array}{c}{t}_x^c=(u_{p1}-u_0)(t_z^c+C_1)/f_d-A_1,\\ t_y^c=(v_{p1}-v_0)(t_z^c+C_1)/f_d-B_1,\\ t_z^c=\frac{f_d(A_1-A_2)-u_{p1}{C}_1+u_{p2}{C}_2+u_0(C_1-C_2)}{u_{p1}-u_{p2}}\end{array}---\left(15\right)$$\left[\begin{array}{c}{p}_x^w\\ p_y^w\\ p_z^w\end{array}\right]={-{R_w^c}^{-1}T}_w^c=-\left[\begin{array}{ccc}{R}_{11}& R_{12}& R_{13}\\ R_{21}& R_{22}& R_{23}\\ R_{31}& R_{32}& R_{33}\end{array}\right]\left[\begin{array}{c}{t}_x^c\\ t_y^c\\ t_z^c\end{array}\right]---\left(17\right)$其中表示世界坐标系原点O_w在摄像机坐标系下的坐标；表示摄像机光心O_c在世界坐标系中的坐标；(u_pi,v_pi)表示特征点的像素坐标；(u₀,v₀)为摄像机主点，f_d为摄像机像的焦距；$A_i=r_{11}{x}_i^w+r_{12}{y}_i^w+r_{13}{z}_i^w,B_i=r_{21}{x}_i^w+r_{22}{y}_i^w+r_{23}{z}_i^w$$C_i=r_{31}{x}_i^w+r_{32}{y}_i^w+r_{33}{z}_i^w,$且i,j＝1,2；R_mn为投影矩阵的逆阵中参数，参数r_mn为投影矩阵中参数，m,n＝1,2,3,如式(3)；将欧拉角的值、特征点在世界坐标系中的坐标和特征点的像在图像坐标系中的坐标带入公式(15)和(17)，计算得出摄像机的空间位置。