[发明专利]一种用于预测遮挡农作物摘取点的农业机器人作业方法

说明书

本发明公开了一种用于预测遮挡农作物摘取点的农业机器人作业方法，包括对农作物的图像进行检测和识别，训练出能够识别出对应农作物的神经网络模型；将目标农作物图像输入训练好的神经网络模型中，对目标农作物进行识别及定位；将提取的特征点集合与训练后的神经网络模型中的标准模板数据集合进行配准，计算得到目标农作物的旋转矩阵和平移矩阵；根据点云配准结果计算目标农作物的可摘取范围，引导农业机器人进行采摘；融合和深度学习算法个三维点云配准，标准模板数据中的可行抓取点应映射至目标农作物上，从而引导农业机器人进行精确、高效地进行抓取作业。

技术领域

本发明涉及机器人自动作业技术领域，特别是涉及一种用于预测遮挡农作物摘取点的农业机器人作业方法。

背景技术

在农业生产中，如苹果、梨等水果的采摘作业往往耗费大量的人力物力，同时农民长期从事重复作业很容易产生劳动损伤，给身体健康带来不可逆转的危害。

虽然在一些地区，对于水果的采摘已经开始采用农业机器人进行作业，但在农业机器人进行自主采摘的过程中，由于树叶、树干等遮挡物的存在，给以立体视觉引导的机器人作业系统带来了较高的复杂性和作业难度。并且，由于双目视觉系统采集的点云数据量较大，采用传统图像处理方法难以进行全面检测和实时计算，同时需要配备边缘计算芯片或者将数据发送到云端进行处理，这对于农业机器人这种价格低廉、追求高效高速作业的机构来讲是十分不合适的，因此，采用传统的图像处理方法处理双目视觉系统数据的对于农业机器人的实时性和高效性会造成负面影响。

发明内容

本发明提供一种用于预测遮挡农作物摘取点的农业机器人作业方法，以解决农业机器人在复杂场景下采摘点定位不准确、工作效率低的问题。

为解决上述问题，本发明提供一种用于预测遮挡农作物摘取点的农业机器人作业方法，具体包括以下步骤：

采集目标农作物图像并输入训练好的神经网络模型中，对目标农作物进行识别及定位；

提取目标农作物的特征点集合，将提取的特征点集合与训练后的神经网络模型中的标准模板数据集合进行配准，计算得到目标农作物的旋转矩阵和平移矩阵；

根据点云配准结果计算目标农作物的可摘取范围，引导农业机器人进行采摘。

进一步的，在所述步骤“采集目标农作物图像并输入训练好的神经网络模型中，对目标农作物进行识别及定位”前还包括以下步骤：

采用深度学习算法对农作物的图像进行检测和识别，得到指定农作物的标准模板数据，并训练出能够识别出对应农作物的神经网络模型。

进一步的，所述步骤“采用深度学习算法对农作物的图像进行检测和识别，得到指定农作物的标准模板数据，并训练出能够识别出对应农作物的神经网络模型”包括以下步骤：

采集若干农作物的图像，并将采集的图像分成训练集和测试集；

构建YOLO神经网络，设定特征参数和激活函数；

将训练集输入YOLO神经网络，并设定损失函数对YOLO神经网络进行迭代训练，得到训练后的神经网络模型；

利用测试集的测试结果对神经网络模型进行验证。

进一步的，所述YOLO神经网络包括多层卷积层和多层全连接层。

进一步的，所述激活函数包括线性激活函数和非线性激活函数，其中YOLO神经网络的最后输出层采用线性激活函数；

所述非线性激活函数的公式为：

f(x)＝max(x,ax)

其中，max为取最大值函数，x为某一像素点的坐标，a为常数；所述线性激活函数的公式为：

f(x)＝kx+a