[发明专利]一种基于3D视觉感知的采摘装置的控制方法

说明书

本发明提供一种基于3D视觉感知的采摘装置的控制方法，包括：S1，控制装置控制采摘装置沿需要采摘的水果支架下方行走；S2，控制装置通过采摘装置的图像采集装置识别目标水果，S3.图像采集装装置通过3D颜色阈值处理以从背景中去除噪声点；S4.控制装置使用深度学习进行成熟水果的检测和定位；S5.选择目标水果周围的感兴趣区域以确定未成熟水果的存在；S6.基于未成熟水果在目标水果周围的分布和数量，计算采摘路径。本发明基于视觉感知主动地将未成熟水果与目标区分，根据未成熟水果在目标水果周围的分布情况，选择单次推动操作或由若干线性推动组成的蛇形推动操作，以区分在目标水果下方和在目标的相同高度处的未成熟水果可显著地改善拣选性能，大大提高采摘效率。

技术领域

本申请涉及智能机器人的领域，尤其涉及一种基于3D视觉感知的采摘装置的控制方法。

背景技术

我国水果采摘方式普遍都是人工采摘，人工成本占果蔬总成本的50％～70％，该采摘方式成本高、效率低、难以实现高空作业。水果采摘机器人是一种代替人工、可以自动化采摘水果的装置。目前，国内水果采摘机器人还处于发展的初期，绝大多数水果采摘机器人还不能满足果农对于采摘水果的要求。目前，水果采摘机器人末端执行器在夹持水果时没有缓冲阶段，而水果较为娇嫩，容易碰伤果实。另外，由于水果的成熟期不同，水果采摘机器人需要选择性收获的果实。现有的水果采摘机器人在鉴别和挑选单个成熟果实，且不意外损坏或意外挑选未成熟果实进行采摘方面存在很大缺陷。虽然也有通过图像识别及使用搜索算法来探索末端执行器用于可行轨迹的搜索空间的方法，其中轨迹的每个步长由碰撞检测器来规划。但大多数方法是被动的方法，其目标是在不改变环境的情况下避免未成熟果实或其他部件。然而未成熟果实并不总是可避免的，目标水果被未成熟果实完全包围时，可能存在末端执行装器难以找到避开所有未成熟果实的方式而无法采摘。

发明内容

为解决现有技术中的上述问题，本发明提供一种基于3D视觉感知的采摘装置的控制方法。

本发明的一种基于3D视觉感知的采摘装置的控制方法，其特征在于，包括：包括以下步骤：

S1，控制装置控制采摘装置沿需要采摘的水果支架下方行走；

S2，控制装置通过采摘装置的图像采集装置识别目标水果，

S3.图像采集装装置通过3D颜色阈值处理以从背景中去除噪声点；

S4.控制装置使用深度学习进行成熟水果的检测和定位；

S5.选择目标水果周围的感兴趣区域以确定未成熟水果的存在；

S6.基于未成熟水果在目标水果周围的分布和数量，计算采摘路径。

其中，步骤S2中，通过使用色调、饱和度和强度颜色阈值处理来去除相邻的噪声点，

步骤S4中，包括：

S41.使用分段卷积神经网络来识别和分段像素级的对象；通过该网络，为成熟的水果创建若干遮蔽，其中一个遮蔽表示检测到的目标水果；通过与深度图像匹配，将遮蔽投影成3D点，获得目标水果在相机框架坐标中的3D位置；

S42.基于相机外部校准装置将坐标从相机框架变换到采摘装置手臂框架；

步骤S5中，使用点云库中裁剪点云中的每个感兴趣区域中的区块的边界框，并对对应的区块进行未成熟水果的识别和计算。