[发明专利]一种基于双目立体视觉的成簇状番茄识别方法

摘要

本发明公开了一种基于双目立体视觉的成簇状番茄识别方法。双目立体相机获取成簇番茄立体图像对；对立体图像对进行图像分割，提取番茄待识别番茄簇边界；多果匹配；立体匹配；三角测距获得深度图；使用8邻域众数滤波法实现深度图去噪；对深度图用迭代Otsu法实现成簇类型识别；对粘连区域，直接对待识别番茄簇边界使用边缘曲率分析的识别方法；对重叠区域，分割出最前番茄区域后，重新进行区域标记等操作，提取出番茄重叠区域深度图边缘后对待识别番茄簇边界进行分割，再使用边缘曲率分析的识别方法；根据番茄区域深度均值识别出最前番茄。应用本发明可实现对不同类型的成簇番茄使用不同的识别方法，及重叠比例较高情况下的成簇番茄识别。

主权项

一种基于双目立体视觉的成簇状番茄识别方法，其特征在于，包括如下步骤：1.1）番茄图像分割：用基于分段阈值图像分割及光斑识别的室外番茄识别方法实现番茄图像分割；计算各番茄区域的最小外接矩及其形心坐标；从二值图像中直接提取待识别番茄簇的边界；1.2）多果匹配：以双目立体图像的右图像为匹配基准，根据右图像中的各番茄区域形心坐标和左图像中各番茄区域的形心坐标间的水平和垂直极线约束条件，实现右图像中各番茄区域与左图像中各番茄区域间的匹配；1.3）视差图像获取：通过对右图像中番茄区域的各像素点逐点运用区域立体匹配方法，在左图像匹配的番茄区域中寻找匹配的像素，获得右图像番茄区域中各像素的视差后，获取番茄区域视差图；1.4）深度图获取：根据步骤1.3获得的视差图，运用三角测距原理获得番茄区域深度图，定义番茄表面一点到双目立体相机的右相机光心平面的垂直距离为该点的深度，以右图像中番茄区域内各像素对应的深度值作为深度图；1.5）使用8邻域众数滤波法对深度图去噪：获得深度图后，遍历深度图中番茄区域的每个像素pi的8邻域，统计pi的8邻域内深度值在番茄可能的最近距离至最远距离范围内的番茄像素pt的个数num，若num小于3，则该pi的深度值为0；否则找到该pi的8邻域内所有pt的深度最大值max和深度最小值min，根据该pi的8邻域内各pt的深度值与max，min的差值，将该pi的8邻域内所有的pt分为两类，将各pt归入其深度值与max，min的差值较小所对应的那一类，并分别统计两类中的pt个数，将pt个数多的那一类中的所有pt的深度均值作为该pi的深度值；若两类中的pt个数相同，则将该pi的8邻域内所有pt的深度均值作为该pi的深度值；1.6）用深度图迭代Otsu法进行成簇区域的成簇类型识别：迭代过程如下：用深度图Otsu法自动获取深度图的分割阈值Dkmax；将番茄区域深度值小于Dkmax的像素分割为番茄前区域F，番茄区域深度值大于等于Dkmax的像素分割为番茄后区域B；分别计算前后区域面积AF、AB，前后区域的深度均值DF和DB，用式（1）计算前后区域深度均值差C；判断C是否大于40mm；若C大于40mm，则判断AF，AB是否同时大于等于面积阈值T；若是，则去除B，设置重叠区域标识overlappingflag为1，且用深度图分割阈值Threshold保存Dkmax；若AF小于T，则把F作为背景去除；若AB小于T，或AF大于等于T，则将B作为背景 去除；对保留的区域重复上述步骤；若C小于40mm，则结束迭代过程；迭代过程结束后，若重叠区域标识overlappingflag为1，则该成簇番茄区域识别为重叠区域，转到步骤1.8；否则该成簇番茄区域识别为粘连区域，执行步骤1.7；C=DB‑DF            （1）1.7）粘连番茄区域识别：运用项荣等提出的基于边缘曲率分析的成簇番茄识别方法对步骤1.1得到的番茄区域待识别番茄簇边界进行识别，识别出待识别番茄簇边界所对应的各个番茄的回归圆后转到步骤1.9；1.8）重叠区域识别：使用步骤1.6得到的深度图分割阈值Threshold，对重叠区域的深度图进行阈值分割，实现重叠番茄区域深度图的图像分割；对重叠区域深度图分割结果进行开运算，8邻域区域标记及小区域去除；根据重叠区域深度图中各像素的区域标记，将区域标记发生突变的像素所形成的边界作为重叠区域的深度图边缘，且区域标记相同的深度图边缘点组成重叠区域内的某个番茄区域的深度图边缘；遍历步骤1.1得到的待识别蕃茄簇边界上的所有边缘点e1，若e1的5×5邻域内存在深度图边缘的边缘点e2，则将该边缘点e1的区域标记改为其5×5邻域内离其最近的边缘点e2的区域标记；遍历完成后，待识别番茄簇边界按照各边缘点的区域标记被分割成与该重叠区域内番茄个数相对应的若干段；最后对待识别番茄簇边界经分割后得到的各段边缘分别使用步骤1.7中的基于边缘曲率分析的成簇番茄识别方法实现重叠区域中各番茄的识别；1.9）首先被采摘的番茄的识别：对各回归圆内的所有番茄像素的三维坐标取均值作为该回归圆对应的番茄的三维坐标；将深度均值最小的那个回归圆对应的番茄作为首先被采摘的对象。