[发明专利]一种基于深度学习的果蔬检测方法

说明书

技术领域

本发明涉及一种新型的果蔬检测方法，具体通过深度学习中Faster R-CNN网络来实现果蔬的检测。

背景技术

果蔬采摘是农业生产链中最耗时耗力的一个环节，约占整个作业量的40％。采摘作业质量的好坏直接影响到果蔬的储存、加工和销售，从而最终影响市场价格和经济效益。因此，果蔬采摘机器人作为农业机器人的一种形式，将成为我国农业现代化发展到一定阶段的必然产物。视觉系统作为采摘机器人的重要组成部分，从复杂的背景中将果蔬识别出来并进行定位其在空间坐标的位置是果实采摘机器人的首要任务和设计难点，识别和定位的准确性关系到采摘机器人的采摘效率和采摘质量，它能为机械手提供准确的空间位置参数，是成功实现自动化采摘的关键。

传统上，基于视觉系统的果蔬的识别和果蔬位置的确定主要有灰度、阈值和几何形状特征等方法。其中，前两者主要基于果实的光谱反射特征，但在自然光照情况下，由于图像中存在噪声和各种干扰信息，效果并不是很好。采用形状定位方式，要求目标具有完整的边界条件，由于果蔬和叶子往往容易重叠在一起，很难真正区别出果实的具体形状。也有的果实需要通过测量果实的直径和长度，决定是否采摘。然而，由于传统的机器视觉方法无论在从复杂的背景中进行果蔬识别还是果蔬空间位置的确定等方面还有诸多问题尚未得到有效解决，目前所研制的果蔬采摘机器人效果不尽理想，已成为制约果蔬采摘机器人研究与应用的瓶颈问题。

近年来，随着人工智能技术的不断发展，深度学习技术已经在计算机视觉领域的分类、识别、检测、分割、跟踪等任务都取得了突破性的进展。相较于传统的机器视觉方法，深度卷积神经网络在大数据的训练下，从大量数据中学习出有用的特征，具有速度快、精度高、成本低等优势。基于深度学习的检测方法，更多的是采用深度学习技术，通过大量样本的训练，再利用一个分类器去检测目标，其优势在于不会受到目标背景变化的影响。它不仅可以将果蔬从复杂的背景中识别出来，还能够预测目标果蔬所在位置，从而提高采摘机器人的采摘效率和采摘质量，最终解决传统的机器视觉方法在目标识别和目标定位上的难以克服的难题。

发明内容

本发明要克服现有技术的上述缺点，提出一种基于深度学习的果蔬检测方法，提高目标识别和目标定位的精度，实现果蔬检测系统结果的精确性、快速性及可靠性。

一种基于深度学习的果蔬检测方法，通过对图片进行事先人工标注产生具有标签的图片作为网络的训练集，采用Faster R-CNN算法，训练一个负责寻找图片中区域建议框的RPN(Region Proposal Network)卷积神经网络和一个负责目标检测的Fast R-CNN卷积神经网络，其中RPN和Fast R-CNN卷积神经网络通过交替训练阶段实现卷积层共享特征图，实现了一个端到端的目标检测框架。

一种基于深度学习的果蔬检测方法，包括：

Step 1：用训练好的ImageNet预训练模型RPN，使用反向传播(Back Propagation)算法调整RPN卷积神经网络参数，得到RPN卷积神经网络新模型M1，在训练集上调用训练好的RPN卷积神经网络模型M1，产生果蔬的候选区域P1。反向传播算法是指是使Faster R-CNN的多任务损失函数值最小化，损失函数表达式为：

Pi*Lreg就表示只有为正标签的锚anchor才有回归损失函数。

Lcls(pi,pi^*)分类损失函数表达式为：

Lcls(pi,pi^*)＝-log[p_i^*p_i+(1-p_i^*)(1-p_i)]

Lreg(ti,ti^*)回归损失函数表达式为：

Lreg(ti,ti^*)＝R(t_i-t_i^*)

其中R表示平滑smooth的损失函数1，即L1-loss，该损失函数表达式为：

Pi表示第i个anchor是目标的预测概率值，i即表示每个批量训练中第i个anchor；

pi^*表示真值Ground Truth的标签，及图片是目标的概率值：