[发明专利]基于双目立体视觉复杂背景下的遮挡目标检测方法

摘要

本发明公开了一种基于双目立体视觉复杂背景下的遮挡目标检测方法，用于解决现有遮挡目标检测方法检测精度差的技术问题。技术方案是首先标定双目相机得到行对准的校正图像，然后通过立体匹配得到视差图进行背景建模，计算场景三维坐标生成俯视投影图，最后用MeanShift方法对俯视投影图进行聚类得到检测结果。本发明利用空间三维信息，有效地解决了目标遮挡、场景光线变化、阴影以及复杂背景的干扰等单目视觉中的技术问题，提高了检测精度。

主权项

一种基于双目立体视觉复杂背景下的遮挡目标检测方法，其特征在于包括以下步骤：步骤一、双目相机标定；首先采用张正友棋盘格标定方法，分别拍摄多张棋盘格图像，用以标定两个相机的内部参数M₁，外部参数M₂通过拍摄放置在地面的标定板图像解算；图像坐标(u,v)与世界坐标(X_w,Y_w,Z_w)的齐次转换关系如下：$\begin{array}{c}{z}_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{d_x}& 0& u_0\\ 0& \frac{1}{d_y}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}{R}_C& T_C\\ \stackrel{\→}{0}& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]\\ =\left[\begin{array}{cccc}{f}_u& 0& u_0& 0\\ 0& f_v& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}{R}_C& T_C\\ \stackrel{\→}{0}& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]=M_1{M}_2\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]\end{array}---\left(1\right)$其中，f为相机焦距，(u₀,v₀)为图像主点坐标，d_x和d_y分别表示每个像素在横轴x和纵轴y上的物理坐标；然后立体标定计算空间上两台摄像机P₁和P₂的几何关系，即两个相机之间的旋转矩阵R和平移矩阵T；选择右相机作为参考相机；关系如下：P₁＝R*(P₂‑T)   (2)最后通过非标定立体校正HartLey算法得到行对准的校正图像；要求双目相机采集图像同步；步骤二、立体匹配获取视差；通过双目立体匹配计算左右相机视图之间的匹配点，得到视差图，选择高斯混合建模方法对视差图进行背景建模，消除复杂背景对目标检测的干扰；根据视差，基线和内参，采用三角测量计算场景三维坐标；选取以地面为XOY面的世界坐标系，将三维点投影到地面，投影到某个像素点的三维点的个数作为该像素点的颜色值，生成俯视投影图；步骤三、俯视投影图聚类；x处的概率密度为f_h,k(x)：$f_{h,k}\left(x\right)=\underset{i=1}{\overset{n}{\Σ}}K\left(\right|\left|\frac{x-x_i}{h}\right|\left|\right)---\left(3\right)$其中，K(x)为核函数，h为半径要使得f_h,k(x)最大，对f_h,k(x)求导得其中g(s)＝‑k'(s)，$\begin{array}{c}\▿f_{h,k}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left(x-x_i\right)g\left(\left|\right|\frac{x-x_i}{h}|{|}^2\right)\\ =\[\underset{i=1}{\overset{n}{\mathrm{\Σ}}}g\left(\left|\right|\frac{x-x_i}{h}|{|}^2\right)\]\[\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_{i}g\left(\left|\right|\frac{x-x_i}{h}|{|}^2\right)}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}g\left(\left|\right|\frac{x-x_i}{h}|{|}^2\right)}-x\]\end{array}---\left(4\right)$令：$m_{h,g}\left(x\right)=\frac{\underset{i=1}{\overset{n}{\Σ}}{x}_{i}g\left(\right|\left|\frac{x-x_i}{h}\right|{|}^2)}{\underset{i=1}{\overset{n}{\Σ}}g\left(\right|\left|\frac{x-x_i}{h}\right|{|}^2)}-x---\left(5\right)$要使得当且仅当m_h,g(x)＝0，得出新的圆心坐标：$x=\frac{\underset{i=1}{\overset{n}{\Σ}}{x}_{i}g\left(\right|\left|\frac{x-x_i}{h}\right|{|}^2)}{\underset{i=1}{\overset{n}{\Σ}}g\left(\right|\left|\frac{x-x_i}{h}\right|{|}^2)}---\left(6\right)$由于投影图的特殊性，仅考虑像素点的距离无法得到准确的聚类结果，计算概率密度时，需要满足：(a)像素点的颜色值与中心像素点的颜色值越相近，概率密度越高；(b)离中心点的位置越近的像素点，概率密度越高；因此，选择核函数K_h(x)：$K_h\left(x\right)=K\left(\right|\left|\frac{x^s-x_i^s}{h}\right|\left|\right)*K\left(\right|\left|\frac{x^r-x_i^r}{h}\right|\left|\right)---\left(7\right)$MeanShift聚类后，每一类代表一个目标；将这一结果投影到原右图像中显示最终的检测结果。