[发明专利]基于立体视觉的吊车避障系统

说明书

技术领域

本发明属于非线性欠驱动系统自动控制的技术领域，特别涉及一种基于立体视觉的吊车避障系统。

背景技术

吊车系统运行过程中，监控人员发现(潜在)碰撞危险的情况，通过紧急制动按钮来实现吊车的紧急制动。但是，这种紧急制动策略取决于监控人员的判断时机，实时性达不到，极易发生碰撞，危险性高，极大的降低了吊车系统的效率。

随着计算机视觉技术的不断发展，视觉传感器在各类机电系统中得到了越来越广泛的应用。双目视觉传感器以其结构简单、非接触测量、准确度高等诸多优点被广泛地用于视场内环境的监控和测量。在吊车系统运行过程中，通过立体视觉系统完成运动物体检测、吊车空间的三维重建，在线计算出负载与障碍物的运动信息(位置信息、速度信息)和尺寸信息，来进行碰撞预测，决定是否采用紧急制动，实现吊车系统的安全运行。

发明内容

本发明目的是解决现有吊车系统的控制达不到实时性要求、极易发生碰撞，使危险性高等问题，提供一种基于立体视觉的吊车避障系统。

该系统的主要功能是：标定双目立体视觉系统，得到左右相机的内参数，以及左右相机之间的外参数；使用立体视觉系统拍摄吊车工作场景的图像，重建吊车工作空间中的静态障碍物；在吊车系统运送负载的工程中，实时检测突然进入吊车工作空间的运动物体(人、车辆、或者其它障碍物等)，同时预测出负载与工作空间中的静态障碍物和运动障碍物是否发生碰撞。如果发生碰撞，则采取紧急制动策略，避免负载与障碍物发生碰撞。

本发明提供的基于立体视觉的吊车避障系统共由四部分组成，包括：

第1、双目立体视觉系统的标定

第1.1、模型分析

相机模型采用通常的针孔模型描述三维欧式空间到二维图像平面的投影变换，双目立体视觉系统一般由左右两个相机组成，其成像模型均采用所述的针孔模型；在双目立体视觉系统中，需要标定的参数包括左相机和右相机的内参数A_l、A_r，A_l为左相机的内参数矩阵，A_r为右相机的内参数矩阵，以及左相机和右相机之间的外参数R和t，R和t分别表示左相机和右相机之间外参数的旋转矩阵和平移向量；

第1.2、基于全局代价函数优化的立体标定

立体标定包括左相机和右相机的内参数标定、左相机和右相机分别与标定板之间的外参数标定、镜头畸变系数的标定、以及左右相机之间外参数标定；

引入左右相机之间外参数保持不变这一约束条件，并选取全局代价函数作为优化目标进行非线性优化，所述基于全局代价函数优化的立体标定方法包括：角点提取、2维单应矩阵的估计、相机内外参数的估计、径向畸变的估计，以及基于全局代价函数的非线性优化五个步骤：

第1.2.1、左右相机同时各拍摄3幅以上的标定图像，利用Harris角点检测算法提取出角点坐标，精确至亚像素精度；

第1.2.2、对于每幅图像，计算左右相机图像平面与标定板之间的2维单应矩阵；

第1.2.3、估计得到左右相机的内参数，以及它们与标定板之间的外参数；

第1.2.4、采用最小二乘方法估计径向畸变系数；

第1.2.5、引入左右相机之间外参数不变这一约束条件，基于全局代价函数进行非线性优化；

第2、吊车工作空间中静态障碍物的重建

首先提取图像的边缘特征；然后利用极线约束和邻域灰度信息，沿特征点的主方向建立描述符；同时通过“冗余角阈值”策略来选择合适的候选匹配点；最后通过计算特征点与候选匹配点之间的相关度，得到正确的匹配点。

第2.1、具有旋转不变性的边缘点匹配算法

针对传统边缘匹配算法对图像旋转敏感，易发生误匹配的缺点，提出了一种具有旋转不变性的边缘点匹配算法，通过将SIFT算子的旋转不变性引入匹配中来提高对图像旋转的鲁棒性，具体包括五个步骤：

第2.1.1、图像预处理，包括灰度化处理，直方图均衡化，图像平滑滤波操作；

第2.1.2、特征点提取，特征点提取在图像空间中进行，利用Canny边缘检测算子得到样本图和搜索图的轮廓点信息，并保存搜索图的轮廓图像；

第2.1.3、特征点描述符的建立

对任意特征点，首先计算特征点主方向；在以该特征点为中心的邻域窗口内采样，使用梯度方向直方图统计邻域像素的梯度方向和幅值；直方图的峰值代表该特征点邻域内梯度的主方向，即特征点的主方向；获得特征点主方向后，利用邻域灰度信息，沿特征点主方向来建立描述符，从而保证特征点描述符具备旋转不变性；