[发明专利]一种基于非完整性蘑菇图像的三维空间视觉定位方法、系统及装置

说明书

本发明涉及三维空间视觉定位领域，公开了一种基于非完整性蘑菇图像的三维空间视觉定位方法、系统及装置，包括图像采集模块、测距模块、主控模块；所述图像采集模块用于采集待检测蘑菇的图像信息；所述测距模块用于测量图像采集模块与待检测蘑菇的垂直距离；所述主控模块用于对采集图像进行预处理，然后对预处理后图像中的蘑菇进行识别和定位，再对识别出的蘑菇进行完整性检测，在识别定位时，根据图像完整性分别确定图像中蘑菇的中心点，最终生成蘑菇的三维坐标。与现有技术相比，本发明所提出的方法可以实现对图像采集不完整的蘑菇进行定位以及进一步提高蘑菇的定位精度。

技术领域

本发明涉及三维空间视觉定位领域，尤其是基于非完整性蘑菇图像中定位的运用，即一种基于非完整性蘑菇图像的三维空间视觉定位方法、系统及装置。

背景技术

近年来，蘑菇的采摘作业方式由最开始的人工采摘转向了机器人采摘的作业方式，已知较为成熟的采摘蘑菇作业方式是基于单目相机的机器人作业方式，但是基于单目相机的机器人作业方式对蘑菇定位时由于遮挡等问题定位精度仍然存在一定的偏差，而且对于图像采集不完全的蘑菇通常直接放弃定位。这样整个采摘过程的效率就大大降低了，其精度也不高，在采摘过程中可能存在漏采、错采的情况。对于采集的不完全图像，如何对蘑菇进行三维空间视觉定位，提高定位精度，是急需解决的问题。

发明内容

技术目的：为解决现有技术存在的问题，本发明提供了一种对于非完整性采集蘑菇图像的三维空间视觉定位方法、系统及装置，从定位精度和对于非完整性采集蘑菇图像的定位处理上，弥补了基于单目相机的机器人作业方式的不足。

技术方案：本发明1.一种基于非完整性蘑菇图像的三维空间视觉定位方法，其特征在于，包括以下步骤：

步骤1：固定拍摄高度H，进行相机标定，得到标定参数，所述相机包括左目相机和右目相机，标定参数包括内参矩阵N、外参旋转矩阵W与平移矩阵B；

步骤2：对待检测的蘑菇进行图像采集，并对所述左目相机采集的图像进行图像预处理操作；

步骤3：将预处理后的图像传入神经网络模型，识别出图像中的蘑菇并生成边界框，以确定蘑菇在图像中的位置；

步骤4：根据步骤3所生成的边界框，判断图像中各个蘑菇的完整性r，计算所测蘑菇的中心点，从而得到所测蘑菇的像素坐标，计算出蘑菇的世界坐标；

步骤5：采集左目相机到蘑菇的距离，计算所测蘑菇的高度，求得所测蘑菇的三维坐标；

步骤6：对所述右目相机采集的图像执行同样的步骤2至步骤5操作，并将右目相机采集的图像与左目相机采集的图像进行一一对应，得到与左目相机所采集的图像中蘑菇的中心点坐标O_w的对应点O_k，将O_k用来微调O_w的坐标可得到最终的三维坐标O_f：

2.根据权利要求1所述的基于非完整性蘑菇图像的三维空间视觉定位方法，其特征在于，所述步骤2中预处理操作为：采用缩放、旋转，再进行图像增强，并获得用于网络训练的图像数据集合。

3.根据权利要求1所述的基于非完整性蘑菇图像的三维空间视觉定位方法，其特征在于，所述步骤3中使用的神经网络模型为YOLOv3网络模型，其对预处理后的图像进行识别和定位，生成图像中各个蘑菇的边界框。

4.根据权利要求1所述的基于非完整性蘑菇图像的三维空间视觉定位方法，其特征在于，所述步骤4中计算所测蘑菇中心点的具体步骤如下：

步骤4.1：根据边界框的宽e_w与边界框的高e_h，计算采集图像中蘑菇的完整性

步骤4.2：记左目相机采集的图像中完整性r低于0.25或高于4的蘑菇图像为伪目标，并将伪目标移除；