[发明专利]一种基于机器视觉的果蔬采摘方法、采摘装置及存储介质

说明书

本发明公开了一种基于机器视觉的果蔬采摘方法、采摘装置及存储介质，所述果蔬采摘方法包括：获取当前待采摘果蔬的果实图像，调用预先训练好的神经网络模型对所述果实图像进行识别，并判断所述待采摘果蔬的种类；获取所述待采摘果蔬的种类，并根据果蔬的种类确定所述待采摘果蔬的果柄上的可剪切区域，并定位剪切点；根据确定的剪切点，控制末端采摘装置剪断所述待采摘果蔬的果柄通过预先训练好的神经网络模型对果实进行识别后剪切果柄进行采摘，可以做到一个装置采摘多种果蔬，通用性高，并且采摘精度高，不伤果肉，提高了采摘效率和采摘果蔬的质量。

技术领域

本发明涉及果蔬采摘技术领域，尤其涉及的是一种基于机器视觉的果蔬采摘方法、采摘装置及存储介质。

背景技术

近年来，智能机器人的发展是研究的热点，通过智能机器人的应用，在工业、农业生产中能有效提高作业效率、降低生产的劳动强度和成本。在农业机器人方面，果蔬采摘机器人是发展现代化农业生产的主要手段之一，而采摘机器人的视觉识别和采摘方法是采摘作业能成功完成的关键技术之一。但相对于当前国内外农业生产的发展，采摘机器人的研究成果较少，大多数采摘机器人识别系统只能识别单一种类的水果或者蔬菜，只能用于采摘单一种类的果蔬，而每种水果需要不同的机械臂和末端采摘装置，这大大增加了采摘机器人的加工成本。同时，大多数机器人通过抓取果肉来采摘，但是，对于不同种类的果蔬、甚至是同一种果蔬在不同的形状、不同位置的抓取点以及抓取力矩是不一样的，而现有的果蔬采摘机器人并不能根据果蔬的种类、形状、位置等因素来确定具体的抓取点，从而影响采摘精度。

因此，现有技术还有待于改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于机器视觉的果蔬采摘方法、采摘装置及存储介质，旨在解决现有技术中的果蔬采摘机器人无法识别多种果蔬，且无法根据不同的果蔬来确定抓取点位置的问题。

本发明解决技术问题所采用的技术方案如下：

一种基于机器视觉的果蔬采摘方法，包括：

获取当前待采摘果蔬的果实图像，调用预先训练好的神经网络模型对所述果实图像进行识别，并判断所述待采摘果蔬的种类；

获取所述待采摘果蔬的种类，并根据果蔬的种类确定所述待采摘果蔬的果柄上的可剪切区域，并定位剪切点；

根据确定的剪切点，控制末端采摘装置剪断所述待采摘果蔬的果柄。

所述的基于机器视觉的果蔬采摘方法，其中，所述获取当前待采摘果蔬的果实图像，调用预先训练好的神经网络模型对所述果实图像进行识别，并判断所述待采摘果蔬的种类的步骤之前，还包括：

预先采集不同种类的果蔬的数据集，并利用Tensorflow和Keras深度学习框架搭建Mask r-CNN网络模型；

通过监督学习方式在所述数据集上进行模型学习训练，并利用训练出的模型对不同种类果蔬的数据集进行特征提取，构建出用于自动识别果蔬的果肉的神经网络模型。

所述的基于机器视觉的果蔬采摘方法，其中，所述数据集中包括不同种类的果蔬的果实图像。

所述的基于机器视觉的果蔬采摘方法，其中，所述获取当前待采摘果蔬的果实图像，调用预先训练好的神经网络模型对所述果实图像进行识别，并判断所述待采摘果蔬的种类的步骤，包括：

利用预设在采摘装置上的摄像头设备获取待采摘果蔬的果实图像，并对所述果实图像进行预处理；

对预处理后的果实图像进行特征提取，并调用神经网络模型对提取的特征进行识别；

根据识别结果判断所述待采摘的果蔬的种类。