[发明专利]一种果园邻接重叠形态果实判别方法

说明书

本发明公开了一种果园邻接重叠形态果实判别方法，包括：图像采集：双目视觉实时采集果实图像；果实区域提取：提取左目图像中的所有果实区域；连通区域标记：对左目图像中果实区域进行框定标记；距离图生成：对图像中标记后的连通果实区域进行计算生成距离图；横纵投影图生成：对图像连通果实区域生成的距离图进行横向和纵向投影，获取横纵向投影图；形态预判：基于横纵向投影图中的峰点个数预判疑似重叠形态果实；形态确认：基于疑似重叠形态果实区域的深度信息确认是否为邻接重叠形态果实。该方法能够判别果园图像中的果实是否为邻接重叠形态果实，为后续采用不同的方法来处理不同形态(单个分离、邻接重叠、枝叶遮挡等)的果实提供依据。

技术领域

本发明涉及一种果园不同生长形态果实的判别方法，尤其是对邻接重叠形态果实的判别。

背景技术

对于采摘机器人来说，由于自然工作环境非结构化的特点，存在很多影响果实精确识别的因素，其中果实邻接重叠遮挡是主要因素之一。果实邻接重叠遮挡就是从视觉传感器图像采集方向看去，两个或多个果实相互接靠重合致使后方果实部分被前方果实所遮挡。它是果实常见的生长形态，该生长形态的果实识别方法与分离无遮挡形态果实以及其他生长形态果实都是不同的，所以在识别之前应对其形态进行判别确认，以便采用相应方法来实现邻接重叠形态果实的精确识别。

发明内容

本发明的目的是：提供一种果园邻接重叠形态果实的判别方法，使得果实采摘机器人能够自动判别确认邻接重叠形态的果实，为进一步对其精确识别定位奠定基础。实现本发明的技术方案包括如下步骤：

(1)图像采集步骤：基于双目视觉传感器实时采集果实图像。

(2)果实区域提取步骤：首先基于图像熵来判断晴天采集图像的光照条件并据此采用模糊逻辑对光照条件不同区域进行权重分配，通过产生隶属函数且定义一组基于图像熵大小的模糊逻辑规则进行不同区域的加权来针对性的提高图像质量；而对于湿热雨雾状态下所采集果实图像，则根据图像退化机理采用马尔科夫随机场(MRF)模型的Retinex算法进行图像增强，而后通过CLAHE算法进行恢复校正来提高图像质量。接着采用基于相平衡模型的无监督多相图像快速分割方法来对图像质量提高后的果实图像进行分割。为了去除分割噪声、填充果实区域孔洞，还需进行小区域去除和孔洞填充操作，具体以8邻域标记法对图像中的连通区域进行标记并统计总数，将小于最大连通区域1/12的小区域去除；孔洞填充采用漫水填充算法实现。最后对图像再进行二值化运算，最终提取出二值化的果实区域。

(3)连通区域框定步骤：该步骤首先计算步骤(2)中保留的不同标记连通区域水平垂直方向上像素数的最大值，然后在不同标记连通区域以像素数最多的行列为长度和宽度画矩形，从而实现连通区域的最小水平框定。

(4)距离图生成步骤：以圆形结构元对框定区域二值化图像进行连续腐蚀操作；在腐蚀操作过程中，根据各个前景像素点到前景中心骨架像素点的距离，用欧氏距离公式计算出各个像素点的欧式距离值，设置为不同的灰度值，多次进行腐蚀操作，直到结构元与前景像素的交集为空，由此完成距离图的生成。

(5)横纵投影图生成步骤：利用距离图像的灰度值由外向内递增，在果实区域的中心达到最大的特点进行横向和纵向投影，获取横纵向投影图；横向投影图，是将每一行像素灰度累加值进行投影，投影值为纵坐标，图像像素行数为横坐标。纵向投影图，是将每一列像素灰度值累加进行投影，投影值为纵坐标，图像像素列数为横坐标。

(6)形态预判步骤：先对横纵向投影图中曲线采用移动平均法进行平滑，而后采用局部极值法提取横纵向投影图中的各个峰点，并要求峰值的最小高度不低于200；提取出横纵向投影图中的各个峰点数后，以最大峰点个数为依据，来预判该果实区域是否为重叠形态果实。

(7)形态确认步骤：根据左目图像疑似重叠形态果实区域来配准右目图像相应区域，而后获取该区域的深度信息，基于深度信息来最终确认该区域重叠形态果实是否为邻接重叠果实。

本发明的有益效果：