[发明专利]一种基于深度相机的托盘检测定位方法

权利要求书

1.一种基于深度相机的托盘检测定位方法，其特征在于，包括如下步骤：

步骤1：根据托盘货架横梁和立柱的宽度，选取直径3-5厘米的圆形红外反光标记粘贴在横梁和立柱外表面；

步骤2：使用深度相机获取包含目标托盘的点云和红外图像，记该点云为原始点云P₀，红外图像为I₀，并对点云和红外图像进行预处理；

步骤3：采用直通滤波算法去除点云P₀中的无效区域，同时剔除离群点；采用基于法向量约束的区域生长算法对点云进行分割，首先使用基于主成分分析的法线估计方法，设置方法中种子点的邻域半径为30毫米，设置区域生长点数下限为50，上限为2000，对点云中任意种子点进行法线估计，将点云聚类为n个点簇集合，其中第j个聚类点集D_j如式(5)所示，j＝1,2,…,n，点集D_j被视为一个平面；筛选出点云中待处理的托盘立柱平面点云并构成如式(6)所示的点云集合P_plane，该点云集合对应的平面记为α；

D_j＝{d_i||A_i|＜5°,i＝1,2,…,v} (5)

其中，d_i表示点云P₀中第i个种子点，A_i表示种子点d_i与其邻域内点的法向量角度差；A_jk表示平面点集D_j与D_k的法向量角度差，表示平面点集D_j的法向量与深度相机z轴正方向向量的角度差，η(D_j)表示平面点集D_j整体的长宽比；

步骤4：将原始点云P₀中满足x坐标大于x_np且小于x_xp、y坐标大于y_np且小于y_xp、z坐标大于z_np且小于z_xp的w个点构成点云P_seg，其中，x_np和x_xp分别表示点云P_plane中x坐标的最小值和最大值，y_np和y_xp分别表示点云P_plane中y坐标的最小值和最大值，z_np和z_xp分别表示点云P_plane中z坐标的最小值和最大值；获取P_seg中属于平面α的切面点云并投影形成如式(7)所示点云集合P_pro；根据式(8)得到P_pro旋转后的切面点云P_tran，该点云中的点的z坐标大小记为z_tran；

其中，d_s表示点云P_seg中任意点，表示点d_s在平面α上的投影点，Dist(α,d_s)表示点d_s到平面α的距离，单位为毫米，R_proz为点云P_pro到相机z轴正方向的旋转矩阵，(x_pro,y_pro,z_pro)表示点云P_pro中点的坐标，(x_tran,y_tran,z_tran)表示将点(x_pro,y_pro,z_pro)旋转到点云P_tran中对应点的坐标；

步骤5：测量出托盘实物的长为L₀，宽为W_e，单位为毫米，然后将栅格图G的长设置为L₀、宽设置为W_e，将平面点云P_tran转换为栅格图G，具体为：根据式(9)设置栅格图像素坐标的灰度值，然后采用闭运算算法将栅格图稀疏区域的灰度值设置为255，使栅格图中白色区域表示托盘，黑色区域表示背景或叉孔；

其中，(x_G,y_G)表示栅格图G的像素坐标，G(x_G,y_G)表示坐标(x_G,y_G)处的像素的灰度值，x_min、y_min分别为点云P_tran中点的x、y坐标的最小值，x_tran、y_tran分别表示点云P_tran中任意点的x、y坐标；

步骤6：使用轮廓检测算法，检测出栅格图G中t个无内部轮廓的轮廓并筛选得到如式(10)所示的候选轮廓集合H；获取栅格图G中托盘叉孔轮廓对应的两个外接矩形并得到如式(11)所示的集合R_f，记集合R_f中的两个外接矩形的八个角点的像素坐标为(x_re,y_re)，re＝1,2,…,8，角点对应点云P_tran上的坐标为(x_min+x_re,y_min+y_re,z_tran)；

H＝{C_i|i＝1,2,…,t,1≤η(C_i)≤4} (10)

R_f＝{R_C|C∈min2(H)} (11)

其中，C_i表示栅格图G中的任意轮廓，η(C_i)表示轮廓C_i的外接矩形的长宽比；式(11)中min2(H)表示候选轮廓集合H中与托盘叉孔实际长宽比差值最小的两个轮廓，R_C为轮廓C的外接矩形；

步骤7：根据式(12)将八个角点在点云P_tran上的坐标(x_min+x_re,y_min+y_re,z_tran)旋转回原始点云P₀，得到原始点云P₀中对应的八个坐标(x_0i,y_0i,z_0i)，i＝1,2,…,8，再根据式(13)计算两个叉孔中心点对应的原始点云坐标(x_cen,y_cen,z_cen)，最终根据式(14)计算叉车与托盘的距离l_fork；托盘立柱平面法向量与相机正方向夹角为托盘与叉车夹角，记为angle，由式(15)得到；计算得到l_fork和angle，即实现了托盘的精确的定位；

l_fork＝min(l(d_cen1,d_fork),l(d_cen2,d_fork)) (14)

其中，R_tran为点云P_tran到点云P₀的旋转矩阵，式(13)中s取1、k取4和s取5、k取8时，分别计算两个叉孔中心点的坐标并记为d_cen1和d_cen2；式(14)中，d_fork表示叉车上预先标定点的坐标，l(d_cen1，d_fork)、l(d_cen2，d_fork)分别为两个叉孔中心点与预先标定点的距离，min()取两者最小值；表示托盘立柱平面点云方向向量，表示相机正方向向量，表示与的方位角，×表示向量叉乘，为的向量范数，·表示向量点乘。