[发明专利]一种基于图像分类和目标检测的棉花发育期自动识别方法

权利要求书

1.一种基于图像分类和目标检测的棉花发育期自动识别方法，其特征在于：该方法首先对作物图像进行分割，得到作物的覆盖度数据；针对不同发育期拥有不同覆盖度的情况，利用综合判断模块，实现自适应使用分布检测模块、图像分类模块、目标检测模块或者叠加使用这些模块，进行发育期的识别；根据图像分类结果，识别出出苗期、三真叶期、五真叶期以及现蕾期；根据花朵数和棉絮数，识别出开花期、开花盛期、裂铃期、吐絮期、吐絮盛期以及停止生长；最后进行时序修正，得到最优的发育期计算结果，实现对棉花发育期动识别；

发育期识别方法的具体步骤如下：

1)、棉花图像选择

待检测的棉花作物图像，该图像作为输入；

2)、图像分割

采用基于RGB颜色空间的彩色图像分割算法进行棉花植株的提取；针对棉花植株的绿色特征，其主要的颜色分量为G，也就是说绿色的G分量大于R分量和B分量，且R分量小于200；以2*G-R-B来设置阈值threshold进行图像分割，以result代表分割结果，1代表前景，0代表背景定义了如下的分割方式:

将阈值threshold设为40时，覆盖度cover_rate数值作为该模块的输出数据；

3)、分布检测

通过对图像分割后的图片进行出苗点统计和出苗点直线分布检测判断是否达到出苗期；

4)、基于深度学习的图像分类

棉花在出苗期、三真叶期、五真叶期、现蕾期的形态具有很大的不同，通过提取出单植株的棉花进行分类，确定该植株的发育期，当属于某一发育期的植株超过了分类总数的一半便认为这张观测图处于该发育期；

结合出苗期分布检测的出苗点坐标实现植株根部定位，然后自适应切割出棉花的单植株子图用于图像分类，使用基于Caffe-AlexNet框架的图像分类方法，统计一张观测图所有单植株子图的分类结果，最后以分类结果最多的那一类作为该观测图的发育期，实现对棉花在出苗期、三真叶期、五真叶期、现蕾期的识别；

5)、基于YOLOv2的图像目标检测

当棉花处于开花期和吐絮期时图像均有明显的局部特征；开花期时作物图像中花朵呈开放状态，吐絮期时作物图像中的棉絮呈裸露状态，均具有明显的可识别性；因此对花朵、棉絮进行目标检测并统计其数量；采用基于Darknet深度学习框架的YOLOv2检测网络作为目标检测模型实现该功能，识别出棉花观测图像中的花朵数和棉絮数；将棉花的花朵、棉絮作为检测目标，在已有资料图片中做好标签图，对网络进行训练，直到能检测出这些目标；通过基于YOLOv2的图像目标检测，检测单张棉花图像中的花朵目标数和棉絮目标数，作为开花期和吐絮期识别的重要参数；

6)、综合判断

通过对检测到的花朵数和棉絮数设定不同的阈值来区分开花期与开花盛期、裂铃期、吐絮期和吐絮盛期；当棉花进入停止生长的时候，结合棉花覆盖度和棉絮数量的变化判断棉花是否停止生长；

通过上述棉花发育期识别方案和其中的关键技术，得到待检棉花图像的所需参数：覆盖度、出苗分布拟合直线数、花朵数和棉絮数；这些参数包含着各个棉花发育期的特征信息，基于上述分析，综合这些参数和其数量关系实现对棉花完整发育期的识别；

以覆盖度作为基础，通过出苗分布线段数识别未出苗和出苗期；根据图像分类结果，识别出出苗期、三真叶期、五真叶期以及现蕾期；根据花朵数和棉絮数，识别出开花期、开花盛期、裂铃期、吐絮期、吐絮盛期以及停止生长；最终通过棉花发育期自动识别方案完成对棉花全部发育期的识别；

7)、时序修正

由于发育期随着时间的增加呈递增关系，所以已经结束的发育期在后期不会再次出现；因此，在对观测图进行发育期识别时加入时序修正模块；

综合判断具体为：

(6-1)计算所需参数

a.覆盖度

使用图像分割模块计算图像中绿色区域占比获得覆盖度数据；通过该方法有效分割棉花作物的图像，获得覆盖度数据；

b.出苗分布线段

使用分布检测模块通过检测轮廓、质心化进行定位检测出苗点的分布，拟合出对应的分布线段，作为判断出苗期的标准；

c.图像分类

待检测图像输入后随机取点将原图像分割为植株大小的若干小图，然后将这些小图使用已训练的AlexNet图像分类模型进行分类，并统计各个类别的数量，实现对棉花在出苗期、三真叶期、五真叶期、现蕾期的识别；

d.目标检测

以花朵和白絮作为检测目标，使用已训练的YOLOv2模型进行目标检测识别，并统计其总数，即获得该图像中的花朵数、白絮数；

(6-2)设定合理阈值获得识别结果

对于待检测的棉花图像，以覆盖度作为划分：

a.当覆盖度小于0.015时，检测出苗分布线段数作为检测出苗点情况的指标，当出苗分布线段数大于2认为是出苗期，该参数小于2则认为是未出苗；

b.当覆盖度大于等于0.015且小于0.6时，则认为棉花已经发育了一段时间，需要根据图像分类来识别发育期，识别出出苗期、三真叶期、五真叶期以及现蕾期；

c.当覆盖度与棉絮数的乘积大于5时，认为图像中棉絮检测为有效判定；当覆盖度与花朵数的乘积大于1时，认为图像中花朵检测为有效判定；以此去除覆盖度较低时的各类环境噪声干扰；

当花朵和棉絮都满足有效判定条件，则计算花朵数除以棉絮数，当该参数大于等于3时，则认为棉絮为主要判定目标，该参数小于3时，则认为花朵为主要判定目标；

当覆盖度大于0.6且未判定棉絮检测有效或花朵检测有效时，认为发育期为现蕾期，作为识别覆盖度较高的现蕾期的补充；

d.对于棉花的开花盛期、裂铃期和吐絮盛期和停止生长期，对检测到的花朵数和棉絮数设定不同的阈值来区分开花期与开花盛期、裂铃期、吐絮期和吐絮盛期；

当判定花朵检测有效时，图像中的花朵数大于5小于15则识别该图像为开花期，花朵数大于15则识别该图像为开花盛期；

当判定棉絮检测有效时，图像中的棉絮数小于50则认为是处于裂铃期；棉絮数大于50小于200则识别该图像为吐絮期；棉絮数大于200则识别该图像为吐絮盛期；

e.当棉絮数大于200且棉絮数与覆盖度的乘积小于10时，则识别该图像已经停止生长。

2.根据权利要求1所述的方法，其特征在于，基于深度学习的图像分类具体为：

(1)图像分类

AlexNet共有八层网络，其结构如下：

卷积层1：输入227*227*3卷积核11*11*3*96

卷积层2：输入28*28*96卷积核5*5*96*256

卷积层3：输入14*14*256卷积核3*3*256*384

卷积层4：输入14*14*384卷积核3*3*384*384

卷积层5：输入14*14*384卷积核3*3*384*256

全连接层1：输入7*7*256输出4096

全连接层2：输入4096输出4096

全连接层3：输入4096输出1000

根据棉花观测图的实际分类类别对AlexNet进行了改动，将AlexNet的最终分类类别1000类改成了4类，分别对应棉花发育期中的出苗期、三真叶期、五真叶期和现蕾期，AlexNet基于Caffe深度学习框架实现，在Linux系统中运行，采用GPU进行运算；将制作好的数据集放入训练网络，设置好参数进行训练，最终分类准确率稳定在80％以上开始下面步骤；

(2)目标检测

目标检测采用的YOLOv2网络模型，是在v1版本上的改进版本，基于Darknet深度学习框架实现，在Linux系统中运行，采用GPU进行运算；该网络将重置尺寸后的输入图像划分成S*S的网络，在每个网格中预测2个边界框及置信度，以及C种类别的条件概率，最后使用非极大值抑制法得到最终的目标预测框；选取结构较简单、运算复杂度较低的tiny-yolo-voc作为YOLOv2的基础网络，将YOLOv2的目标检测类别改为1类；根据要求将制作完成的数据集用于训练，学习目标分类以及BoundingBox位置与大小；最终针对花朵和棉絮分别制作两个目标检测模型。