[发明专利]一种基于RGB-D的实时避障系统

权利要求书

1.一种基于RGB-D的实时避障系统，其特征在于，所述系统包括：

图像采集模块、标定模块、普通障碍物检测模块、特殊障碍物检测模块、验证模块、避障决策模块和移动控制模块；

所述图像采集模块用于采集RGB-D相机原始的深度信息以及障碍物的RGB信息并分别输出给标定模块、普通障碍物检测模块和特殊障碍物检测模块；

所述标定模块用于获取图像采集模块得到的深度信息来标定地面背景和标定相机安装角度，以获取地面深度信息以及相机安装角度信息；

所述普通障碍物检测模块用于处理图像采集模块输出的深度信息和RGB信息，提取出障碍物并经过验证模块进行二次判断，确保障碍物是真的障碍物而不是误检测，最终精准检测出障碍物并输出障碍物的位置信息；所述普通障碍物检测模块包括预处理模块、轮廓提取模块和障碍物坐标输出模块；

所述预处理模块包括以下步骤：

步骤2-1：从图像采集模块获取连续的三张深度图；

步骤2-2：对获取的三张深度图进行两倍下采样以及形态学膨胀处理；

步骤2-3：三张深度图分别在设定ROI区域与标定的地面背景信息做差，满足差值阈值的点的数值设置为255，不满足阈值的点的数值设置为0；

步骤2-4：抽取第二张深度图命名为二值图P1,将三张深度图叠加在一起得到二值图P2；

步骤2-5：对得到的二值图P1和二值图P2进行形态学闭操作处理；

所述轮廓提取模块包括以下步骤：

步骤3-1：分别计算二值图P1和二值图P2中障碍物的轮廓以及凸包信息；

步骤3-2：分别计算二值图P1和二值图P2中的凸包面积和凸包中心的像素位置，依据凸包中心像素所在区间的不同设置不同的面积阈值过滤阈值以下的凸包；

步骤3-3：计算凸包中心像素在水平深度相机坐标系下的Y值与保存的地面信息中相同像素点Y值，对小于地面Y达到一定阈值的凸包进行保留反之进行滤除；

所述障碍物坐标输出模块包括以下步骤：

步骤4-1：计算步骤3-2滤除后剩余凸包的最小外接形框；

步骤4-2:去除重叠的矩形框，合并连接的矩形框；

步骤4-3:当存在多个矩形框时，只保留矩形框内深度平均值最小的矩形框；

步骤4-4:将深度图上矩形框映射到RGB图中；

映射公式如下：

其中Z_d是在(u_d,v_d)像素点上的深度值；是深度图像素点(u_d,v_d)在深度相机坐标系下的三维坐标；是像素点(u_d,v_d)在RGB相机坐标系下的三维坐标；(u_c,v_c)是在RGB图像上的像素坐标；R和T分别是深度摄像头到RGB摄像头的旋转矩阵和平移矩阵；K_d是深度相机内参矩阵，K_c是RGB相机的内参矩阵；

步骤4-5：计算矩形框的面积，将面积大小满足阈值条件的RGB内的矩形框送入验证模块，验证是地面还是障碍物；

步骤4-6：如果验证模块输出为0，表示判断矩形框内物体为非障碍物则返回步骤4-1，如果输出1表示矩形框内是障碍物则执行下一步骤4-7；

步骤4-7：计算障碍物矩形框中的每个像素点在水平深度相机坐标系下X坐标轴上的值,去除掉X坐标轴上数值在阈值范围之外的像素点，在剩余像素点中找到障碍物的最近距离,并输出给避障决策模块；

所述特殊障碍物检测模块用于根据图像采集模块输出的深度信息和RGB信息，检测出行人和其他机器人，并输出障碍物位置信息；

所述避障决策模块用于处理普通障碍物检测模块与特殊障碍物检测模块输出的障碍物位置信息生成避障策略；

所述移动控制模块用于根据避障决策模块输出的避障策略控制机器人的移动实现避障功能。

2.根据权利要求1所述的一种基于RGB-D的实时避障系统，其特征在于：所述RGB-D相机安装在移动搬运机器人的顶部，相机倾斜角度保证相机视野范围内看不见机器人车体的任何部位。