[发明专利]一种基于深度学习的果蔬检测方法

权利要求书

1.一种基于深度学习的果蔬检测方法，包括：

步骤1，首先对数据进行预处理；对原始图片事先进行手工标定，获得分割标签。标定是指原始图片中目标框的左上角点与右下角点的坐标，标签是指判定每个标定框中目标是否为果蔬及确定果蔬的类别。

步骤2，其次对数据进行训练；将所述原始图片和图片标签作为深度学习神经网络的训练集，结合区域建议网络RPN及Fast R-CNN卷积神经网络对数据进行训练，得到最终果蔬检测模型。

步骤3，最后对测试数据进行测试；调用最终果蔬检测模型及测试程序，对测试图片进行果蔬的检测，通过观察测试结果，分析最终果蔬检测模型效果的好坏。

2.如权利要求1所述的一种基于深度学习的果蔬检测方法，其特征在于：权利要求书1中步骤2对数据进行训练，RPN和Fast R-CNN卷积神经网络通过交替训练阶段实现卷积层共享特征图，训练具体步骤如下：

Step 1：用训练好的ImageNet预训练模型RPN，使用反向传播算法调整RPN卷积神经网络参数，得到RPN卷积神经网络新模型M1，在训练集上调用训练好的RPN卷积神经网络模型M1，产生果蔬的候选区域P1；反向传播算法是指是使Faster R-CNN的多任务损失函数值最小化，损失函数表达式为：

L({pi},{ti})=1NclsΣiLcls(pi,pi*)+λ1NregΣipi*Lreg(ti,ti*)]]>

Pi*Lreg就表示只有为正标签的锚anchor才有回归损失函数；

Lcls(pi,pi^*)分类损失函数表达式为：

Lcls(pi,pi^*)＝-log[p_i^*p_i+(1-p_i^*)(1-p_i)]

Lreg(ti,ti^*)回归损失函数表达式为：

Lreg(ti,ti^*)＝R(t_i-t_i^*)

其中R表示平滑smooth的损失函数1即L1-loss，该损失函数表达式为：

smoothL1(x)=0.5x2if|x|<1|x|-0.5otherwise]]>

Pi表示第i个anchor是目标的预测概率值，i即表示每个批量训练中第i个anchor；

pi^*表示真值Ground Truth的标签，及图片是目标的概率值：

pi*=0negative label1positive label]]>

t_i＝{t_x,t_y,t_w,t_h}表示预测的bounding box包围框的四个参数化坐标，(t_x,t_y)表示边界框左上角坐标，t_w表示边界框长，t_h表示边界框高；

t_i^*表示每个正标签对应的GT包围框的四个参数化坐标；

Ncls、Nreg分别表示分类层和回归层的归一化；λ表示平衡权重，通常λ＝10，Ncls＝256表示批量操作数的大小，Nreg近似为2400，这样就可以实现分类及回归的等权重化；

Step2：用产生的候选区域P1及训练好的ImageNet模型训练Fast R-CNN，具体为输入训练集及果蔬的候选区域P1，结合样本集的标注及标签进行训练，得到新的Fast R-CNN卷积神经网络模型M2；

Step3：调用M2模型重新训练RPN网络，这次卷积层参数不变，只做前向计算，对RPN卷积神经网络进行微调，训练得新的RPN卷积神经网络模型M3；

Step4：调用M3模型重新产生候选区域P2，用M3和P2训练Fast R-CNN卷积神经网络，微调Fast R-CNN卷积神经网络的全连接层，主要是对bounding box的位置进行精修，最终Faster R-CNN模型M4；

位置精修法：

先做边界框的位置平移(Δx,Δy)，Δx＝p_wdx(p),Δy＝p_hdy(p)；

P表示候选区域Region Proposal；x，y，w，h分别表示该候选区域的左上角坐标、长和高；Δx表示边界框左上角坐标在x轴上的平移量、p_w表示候选区域框的宽、dx(p)表示对候选区域x求导、Δy表示边界框左上角坐标在y轴上的平移量、p_h表示候选区域框的高、dy(p)表示对候选区域y求导。

再经过尺寸缩放(s_w,s_h)，s_w＝p_wd_w(p)，s_h＝p_hd_h(p)；

其中s_w表示边界框宽度的缩放量、p_w表示候选区域框的宽、d_w(p)表示对候选区域w求导、s_h表示边界框高度的缩放量、p_h表示候选区域框的高、d_h(p)表示对候选区域h求导。