[发明专利]基于竞争网络的植株点云数据深度图像处理方法及系统

权利要求书

1.一种基于竞争网络的植株点云数据深度图像处理方法，其特征在于，包括以下步骤：

S1、利用无人机搭载激光雷达和相机获取田间植株的同步时间戳的点云数据和二维图像；

S2、将点云数据作为距离信息，投影为灰度图像，并将灰度图像与二维图像进行匹配，得到深度图像；

S3、分别对点云数据和与之对应的深度图像进行分类和标注，并将分类后、且一一对应的点云数据和深度图像组成多组成对数据样本；

S4、构建竞争网络模型，利用多组成对数据样本对所述竞争网络模型进行训练；

S5、利用训练好的所述竞争网络模型对待实施作业的田间植株点云数据的深度图像进行特征识别，确定植株需要作业的关键部位。

2.根据权利要求1所述的一种基于竞争网络的植株点云数据深度图像处理方法，其特征在于，S1包括：

S11、分别提取所述相机获取的二维图像和所述激光雷达获取的点云，根据数据上携带的时间戳对图像数据和点云进行时间同步处理；

S12、对时间同步后的二维图像信息进行处理，得到无人机的飞行速度及飞行方向信息；

S13、对点云时间同步后，得到最终的田间植株的点云数据。

3.根据权利要求2所述的一种基于竞争网络的植株点云数据深度图像处理方法，其特征在于，S12中无人机的飞行方向的确定过程为：

定义激光雷达开始检测的时刻为时间戳a，分别提取相机在时间戳a之前和之后的两帧图像；

定义两帧图像的采集时刻分别为时间戳b和时间戳c，被测植株在时间戳b和时间戳c对应图像上的位置分别为A和B，将A、B两点连线作为无人机的飞行方向。

4.根据权利要求1所述的一种基于竞争网络的植株点云数据深度图像处理方法，其特征在于，S2包括：

S21、以激光雷达的布设点为坐标原点，以无人机飞行夹角方向的正方向为X轴，以平行于地面且垂直于无人机飞行方向作为Y轴；在Y轴上距离坐标原点Mmax距离处做一个垂直于y轴的平面，作为投影平面，令各点云数据沿y轴向所述投影平面投影，获取点云数据中各点到所述投影平面的距离M(i，j)；

S22、根据点云数据中各点到所述投影平面的距离，计算投影后所得到的所有点的像素灰度值G；其中，距离越远的点在投影后得到的投影灰度越深，反之，则灰度越浅，生成点云数据的灰度图像；点云数据的灰度图像中各像素点的灰度值为G(i，j)，其表达式如下：

G(i，j)＝255*M(i，j)/max(M(i，j))；

其中，点云数据的灰度图像的像素灰度范围为[0,255]，黑色为0，白色为255；

S23、将所述灰度图像与所述二维图像进行匹配，得到点云数据的深度图像。

5.根据权利要求4所述的一种基于竞争网络的植株点云数据深度图像处理方法，其特征在于，S23中，所述灰度图像和所述二维图像匹配的过程中，还包括：

分别利用高度传感器和速度传感器获取无人机的飞行高度信息和飞行速度信息，将所述高度信息和所述速度信息作为标定信息，并对所述二维图像和所述灰度图像进行配准。

6.根据权利要求1所述的一种基于竞争网络的植株点云数据深度图像处理方法，其特征在于，S3中根据田间信息的关键部位信息对点云数据和与之对应的深度图像进行分类和标注；所述关键部位至少包括：土壤和不同作物。