[发明专利]一种基于图像和点云融合的火星表面三维地形检测方法

说明书

本发明公开了一种基于图像和点云融合的火星表面三维地形检测方法，包括：获取火星表面待检测区域的图像数据；将待检测区域的图像数据作为已训练好的三维目标检测网络的输入；根据三维目标检测网络的输出，确定火星表面待检测区域的地形检测结果；将地形检测结果进行可视化输出；本发明通过深度学习的方法将图像和点云信息融合并利用起来，有效解决了火星表面目标地形三维空间检测的问题。

技术领域

本发明涉及一种基于图像和点云融合的火星表面三维地形检测方法，属于火星智能视觉三维目标检测识别技术领域。

背景技术

掌握火星的地貌地形是进行火星科学研究的基础之一，检测出火星地表物质组成与分布是掌握其地貌地形的重中之重。仅查看岩石的分布和物理性质，科学家就可以获得大量信息。所以，这就要求在火星车运动探测任务中，首先火星车需要对自身所处环境进行识别判断，通过相机等传感器获取信息，检测定位目标地形的空间信息和类别信息，然后才能继续规划路线确定行进的方向，使用探测器进行下一步的探测研究。

3D的目标检测相比于2D的目标检测有着明显的优势，要保证火星车安全行进，对特定目标地形进行进一步的勘测和研究，则需要该地形的三维位姿信息，而在图片中的二维位姿不带深度信息，传统的2D目标检测，是得到目标物体的类别，以及图像平面内的检测框，包含的参数有类别、检测框的中心坐标、长宽，这3组参数构成对目标物体位置、大小等信息的描述。我们无法从2D图片中获得物体的绝对尺度和位置，没有办法有效避免碰撞，具有一定的安全隐患。因此，火星表面地形的3D目标检测在火星车的探测研究、运动、路径规划等方面发挥着及其重要的作用，对于火星表面的目标探索有着重要的意义。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种基于图像和点云融合的火星表面三维地形检测方法，基于点云和图像的三维地形检测的完整系统流程，其中包含相机标定、数据采集、数据预处理、数据标注、二维图像地形检测，与三维地形检测、结果可视化，提高检测的自动化程度和精确度。

为达到上述目的，本发明是采用下述技术方案实现的：

本发明提供了一种基于图像和点云融合的火星表面三维地形检测方法，包括以下步骤：

获取火星表面待检测区域的图像数据；

将待检测区域的图像数据作为已训练好的三维目标检测网络的输入；

根据三维目标检测网络的输出，确定火星表面待检测区域的地形检测结果；

将地形检测结果进行可视化输出；

其中，所述火星表面待检测区域的图像数据通过小车机器人带动已标定的相机组在火星表面移动获取，所述相机组的标定包括利用标定板对深度相机进行标定并获取相机内参和相机外参；

所述相机组包括彩色相机和深度相机，所述图像数据包括RGB彩色图像和深度图像。

进一步的，所述三维目标检测网络的训练包括：

获取火星模拟场地的图像数据，即RGB彩色图像和深度图像；

将火星模拟场地的深度图像转换成三维点云，并对三维点云数据进行预处理操作；

对火星模拟场地的RGB彩色图像进行标注得到彩色图像数据集，对预处理后的三维点云数据进行标注得到三维点云数据集；

将彩色图形数据集作为二维目标检测网络的输入，对火星模拟场地进行检测并输出二维检测结果；

将二维检测结果和三维点云数据集作为输入，提取三维点云中目标区域的锥形点云；

将锥形点云作为三维目标检测网络的输入，对火星模拟场地进行检测并输出三维检测结果；

基于三维检测结果对三维目标检测网络进行迭代训练。