[发明专利]基于竞争网络的植株点云数据深度图像处理方法及系统

说明书

本发明公开了一种基于竞争网络的植株点云数据深度图像处理方法及系统，方法包括：获取同步时间戳的田间植株的点云数据和二维图像；将点云数据作为距离信息，投影为灰度图像，并将灰度图像与二维图像进行匹配，得到深度图像；分别对点云数据和与之对应的深度图像进行分类和标注，组成多组成对数据样本；构建竞争网络模型，利用多组成对数据样本对竞争网络模型进行训练；利用训练好的竞争网络模型对待实施作业的田间植株点云数据的深度图像进行特征识别，确定植株需要作业的关键部位。本发明利用竞争网络模型对点云数据的深度图像进行识别，能够较好地识别植株的特征点，提高无人机的作业精度。

技术领域

本发明涉及农田图像处理技术领域，更具体的说是涉及一种基于竞争网络的植株点云数据深度图像处理方法及系统。

背景技术

在人工智能领域，激光雷达是重要的环境探测和感知设备之一。考虑到未来我国的农业管理的信息化程度的不断提高，激光雷达在农业遥感中的应用会越来越多。从工作原理来看，激光雷达可以按照预设的角度快速地发射和接收反射回来的激光脉冲束，以激光点云的方式来感知田间植株信息，并对一定范围内的植株进行点云处理和重构，构建植株的三维形态结构。由于光的直线传播和速度固定两个特征，所形成的三维图像能够为无人机农事作业提供更精准的信息，在此基础上无人机可以更加智能更加高效的进行作业。

但是，在农田环境中，激光雷达的应用也存在一定的问题。其中包括： (1)激光点云的数据量非常大，在大范围的场景处理过程中效率较低，耗时太长；(2)单个激光束在遇到具备一定反射系数的障碍物时会及时反射回来，在遇到反射系数低的物体可能由于穿透和吸收而形成点云空洞；(3)受预定的激光雷达张角和感知区域的影响，激光雷达对周围环境扫描所形成的点云形态不一；(4)不同的激光雷达所能够获取的点云数据稀疏程度不同，在实际应用中往往会受建设成本的约束而不得不使用高数据稀疏度的设备。

针对激光雷达点云数据在农田植株检测过程中存在的不足，可以将其处理成深度图像，在保持其高感知精度的前提下，降低计算复杂度、简化处理过程、提高处理效率。因此，如何由植株的点云数据生成最优的深度图像，以最大程度的保留其感知精度，在农田植株和感知领域具有非常重要的作用。

发明内容

有鉴于此，本发明提供了一种基于竞争网络的植株点云数据深度图像处理方法，通过将点云数据转换成深度图像，并利用竞争网络模型对深度图像进行识别，能够较好地识别植株的特征点，从而有效地提高无人机作业时的精度。

为了实现上述目的，本发明采用如下技术方案：

一种基于竞争网络的植株点云数据深度图像处理方法，包括以下步骤：

S1、利用无人机搭载激光雷达和相机获取田间植株的同步时间戳的点云数据和二维图像；

S2、将点云数据作为距离信息，投影为灰度图像，并将灰度图像与二维图像进行匹配，得到深度图像；

S3、分别对点云数据和与之对应的深度图像进行分类和标注，并将分类后、且一一对应的点云数据和深度图像组成多组成对数据样本；

S4、构建竞争网络模型，利用多组成对数据样本对所述竞争网络模型进行训练；

S5、利用训练好的所述竞争网络模型对待实施作业的田间植株点云数据的深度图像进行特征识别，确定植株需要作业的关键部位。

可选的，在上述一种基于竞争网络的植株点云数据深度图像处理方法中， S1包括：

S11、分别提取所述相机获取的二维图像信息和所述激光雷达获取的点云，根据数据上携带的时间戳对图像数据和点云进行时间同步处理；

S12、对时间同步后的二维图像信息进行处理，得到无人机的飞行速度及飞行方向信息。

S13、对点云时间同步后，得到最终的田间植株的点云数据。