[发明专利]一种塔式起重机负荷立体摆角的视觉检测方法

摘要

本发明提供了一种塔式起重机负荷立体摆角的视觉检测方法，包括步骤为：左右两个相机的标定、图像采集、图像转换成灰度图像、滤波去除噪声、图像二值化、边缘检测、吊绳直线检测、白色标记点平面坐标点计算、白色标记点三维坐标计算以及计算三维摆角。该视觉检测方法避免使用价格昂贵的加速度计、陀螺仪等传感器，且检测精度高，具有较好的应用前景。

主权项

1.一种塔式起重机负荷立体摆角的视觉检测方法，其特征在于，包括如下步骤：步骤1，对左右平衡安装的两个相机分别进行标定，得到两个相机之间的相对几何位置关系；步骤2，利用标定后的左右相机对塔式起重机搭载的重物进行图像采集；步骤3，将采集到的左右两幅原始彩色图像转换成灰度图像；步骤4，对左右两幅灰度图像进行维纳滤波去除噪声；步骤5，对左右两幅去噪图像利用OTSU全局阈值最大化类间方差进行区域分割，得到左右两幅二值图像；步骤6，利用canny边缘检测算子对左右两幅二值图像进行物体边缘检测，得到左右两幅边缘轮廓曲线图像；步骤7，对左右两幅边缘图像利用Hough变换检测出塔式起重机图像中吊载重物的直线吊绳，并利用像素值检测出设置在吊绳两端的白色标记点；步骤8，将检测到的吊绳首端的白色标记点记为图像的起始坐标点，分割出吊绳直线区域；步骤9，分别检测出左右两幅图像中吊绳直线区域尾端的白色标记点的行列坐标；步骤10，采用异面直线公垂线的中点逼近所要恢复的吊绳尾端的白色标记点三维坐标，从而获得欲恢复吊绳尾端的白色标记点的三维坐标；步骤11，根据欲恢复吊绳尾端白色标记点的三维坐标计算该点距离吊绳首端白色标记基点的三维摆角；其中，步骤10中获得吊绳尾端的白色标记点的三维坐标的具体步骤为：步骤10‑1，求解下述方程中的mx、my、mz、nx、ny和nz，其中，左相机成像的吊绳直线O_LP_L和右相机成像的吊绳直线O_RP_R的方向向量分别为和吊绳直线O_LP_L所在的两个平面的法向量为吊绳直线O_RP_R所在的两个平面的法向量为(u_L,v_L)和(u_R,v_R)为左右图像上的坐标，m₁₄、m₂₄以及m₃₄为标定参数矩阵对应的系数；步骤10‑2，计算最终的公垂线MN的中点P'，即吊绳尾端上的白色标记点的三维坐标为：以及其中(m_x,m_y,m_z)和(n_x,n_y,n_z)分别为左相机成像的吊绳直线O_LP_L和右相机成像的吊绳直线O_RP_R的公垂线MN顶点M和N点的三维坐标；步骤1中对两个相机分别进行标定时，具体包括如下步骤：步骤1‑1，采用黑白国际象棋图案作为标定模板；步骤1‑2，将标定模板置于左右相机的正前方，变换标定模板的平面位置和旋转角度，用左右相机对同一位置的标定模板同时采集N组图片；步骤1‑3，选取同一组左右两幅图像，并分别确定每幅图像中所有对应黑白格子的左上角、右上角、左下角和右下角四个边界的特征点；步骤1‑4，根据对应特征点的投影成像平面坐标(u,v)与标定模板上特征点的直角坐标(X,Y)分别计算左右两个相机的内部参数和外部参数；步骤1‑4中计算两个相机的内部参数、外部参数以及相对几何位置关系的具体步骤为：步骤1‑41，由最小二乘法逐点求解中的单应映射矩阵H，单应映射矩阵H的第i行向量为h_i＝[h_i1 h_i2 h_i3]，单应映射矩阵H的第j列向量为h_j＝[h_1j h_2j h_3j]^T；步骤1‑42，令对称矩阵其中，A为内部参数矩阵，α、β、u₀和v₀为相机的内部参数，γ为相机成像平面两轴之间的不垂直因子，即像素行列的夹角，α为相机的水平方向焦距，β为相机的垂直方向焦距，u₀和v₀为相机的主点坐标，在理想的相机模型中，(u₀,v₀)位于图像中央，α＝β，γ＝0或90°；步骤1‑43，再令v_ij＝[h_i1h_1j h_i1h_2j+h_i2h_1j h_i2h_2j h_i3h_1j+h_i1h_3j h_i3h_2j+h_i2h_3j h_i3h_3j]^T，b＝[B₁₁ B₁₂ B₂₂ B₁₃ B₂₃ B₃₃]^‑T，采集N幅图像，列写N个方程，即Vb＝0的方程；步骤1‑44，求解VTV最小特征值对应的特征向量即为b的解，对b求逆，利用Choleski分解得到内部参数的计算公式为：步骤1‑45，求解H＝[h1 h2 h3]＝λA[r1 r2 T]，得到相机的外部参数R和T的计算公式为：其中，λ为比例因子，ri(i＝1,2,3)表示3×3旋转矩阵R的第i列向量，即旋转矩阵R的第i行向量为Ri＝[ri1 ri2 ri3]，旋转矩阵R的第j列向量为Rj＝[r1j r2j r3j]T，T为3×1的平移矩阵；步骤1‑46，再根据式计算两个相机之间的相对几何位置关系，其中，r为相对旋转矩阵，t为相对平移矩阵，R₁和R₂分别表示左右两个相机的旋转矩阵，T₁和T₂分别为左右两个相机的平移矩阵。