[发明专利]一种使用视觉导航的多旋翼无人机果实采收方法及其装置

权利要求书

1.一种使用视觉导航的多旋翼无人机果实采收装置，其特征在于：包括无人机机体、伸缩支架、齿梳架和齿梳杆；在无人机机体的两侧分别设置有左右对称的伸缩支架；齿梳架平行位于伸缩支架的下方；伸缩支架上垂直安装有两根伸缩导向杆，伸缩导向杆同时套接在齿梳架的两端；齿梳架的中部垂直安装有丝杆，丝杆同时穿出伸缩支架；齿梳架上安装有步进电机，通过步进电机带动丝杆转动，进而带动齿梳架的上升或下降；齿梳架的下方垂直安装有两根以上的齿梳杆，其中位于齿梳架两端的齿梳杆的内部为空心，与伸缩导向杆配合组成滑轨结构。

2.根据权利要求1所述的使用视觉导航的多旋翼无人机果实采收装置，其特征在于：齿梳杆包括杆身、球形关节和齿梳杆头部，齿梳杆头部通过球形关节与杆身连接，使得齿梳杆头部可以通过球形关节相对于杆身弯曲或转动一定角度；中间的齿梳杆头部安装有双目视觉系统。

3.根据权利要求2所述的使用视觉导航的多旋翼无人机果实采收装置，其特征在于：所述齿梳杆头部为仿生扁平头龟头形状，头尖且圆滑。

4.根据权利要求2所述的使用视觉导航的多旋翼无人机果实采收装置，其特征在于：每根齿梳杆的间隔距离比果实平均直径小1～2mm，且大于花蕾。

5.一种使用视觉导航的多旋翼无人机果实采收方法，其特征在于：采用权利要求1～4中任一项所述的多旋翼无人机果实采收装置，包括下述步骤：

(1)对视觉导航的神经网络系统进行训练：进行基于Faster-RCNN模型的图像语义分割网络训练，进行基于pointnet++模型的点云分类网络训练，使得训练好的视觉导航的神经网络系统可以识别每棵果树的位置；

(2)对双目视觉系统进行双目标定：先对多旋翼无人机果实采收装置的双目视觉系统进行单目标定，得到每个摄像机的内参数矩阵与畸变系数矩阵；再对双目视觉系统进行双目标定，得到用于三维重建的重投影矩阵，以及像素距离与真实物理距离的转换关系；

(3)获取树冠图像：控制无人机飞到果树的上方，采用无人机一侧的伸缩支架上的双目视觉系统拍摄得到果树的左右树冠图像，然后对左右树冠图像进行双目校正，得到双目校正后的左右树冠图像；

(4)分割树冠图像：采用训练好的Faster-RCNN模型将双目校正后的左右树冠图像中的果树分割出来，依序给分割结果进行编号，一个编号代表一棵果树，计算每棵被分割出来的果树的中心；然后每一组左右树冠图像保留一棵果树的内容，其余部分的像素灰度值设置为0；

(5)计算树冠的三维点云：将SGBM立体匹配算法应用于左右树冠图像，生成视差图，三维重建后得到三维点云；然后利用训练好的pointnet++模型准确找到树冠的三维点云；

(6)对无人机进行视觉导航：采用最小二乘法对树冠的三维点云进行球拟合，并返回球心O₁的位置，将球心O₁投影到摄像机坐标系的oxy平面上；计算球心投影O₁’到摄像机坐标系原点O的实际物理距离如果(e的取值范围在100mm～150mm)时，认为中间齿梳杆已经对准树冠中心；若无人机根据距离值和方向调整无人机的位置，直至

(7)计算树冠的三维点云中最高顶点的深度，获得齿梳杆头部与树冠顶端的距离；通过同样的方法，获取无人机另一侧的伸缩支架上的齿梳杆头部与最近的另一个树冠顶端的距离；再分别根据两侧齿梳杆头部与树冠顶端的距离来控制调节两侧齿梳架的水平高度，当无人机左右两侧果树的高度不同时，在无人机保持水平情况下，使两侧齿梳杆插入果树的深度相同；

(8)然后无人机下降1～1.5米，使齿梳杆插入树冠中，即可开始作业，通过无人机改变俯仰姿态和转动，带动齿梳杆上下左右运行和摇晃果树，将果实梳出或打落。

6.根据权利要求5所述的使用视觉导航的多旋翼无人机果实采收方法，其特征在于：所述基于Faster-RCNN模型的图像语义分割网络训练，是先将无人机起飞至距离果树树冠顶部2～3米的上空，悬停后双目视觉系统分别拍摄果树树冠图像，多次采样后得到不少于300组的树冠图像，用于神经网络的训练；训练好的Faster-RCNN模型用于果树的树冠图像分割，确定树冠图像中每棵果树的位置。

7.根据权利要求5所述的使用视觉导航的多旋翼无人机果实采收方法，其特征在于：所述基于pointnet++模型的点云分类网络训练，是对三维重建后得到的树冠的三维点云制作训练用的标签，并用于pointnet++模型的训练；训练好的pointnet++模型用于分割树冠的三维点云；由于三维重建后的树冠点云仍有较多噪声，采用pointnet++模型对树冠点云进行再分割，可以准确找到树冠点云。