[发明专利]多传感器数据融合的方法、装置和系统

权利要求书

1.一种多传感器数据融合的方法，其特征在于，包括：

获取第一传感器采集的目标场景的三维点云数据；

获取第二传感器采集的所述目标场景的二维图像数据，其中，所述二维图像数据和所述三维点云数据是所述目标场景在目标时刻的数据；

根据映射关系，对所述三维点云数据和所述二维图像数据进行数据融合，以获得所述目标场景的三维重建结果，其中，所述映射关系是所述第一传感器坐标系至所述第二传感器坐标系的映射关系，且所述映射关系是根据多个标定板的多个角点在所述第二传感器坐标系下的坐标和所述多个标定板的多个角点在所述第一传感器坐标系下的坐标确定的。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

利用优化算法，对所述多个标定板的多个角点在第一传感器坐标系下的坐标和所述多个标定板的多个角点在所述第二传感器坐标系下的坐标进行计算，获得所述映射关系，其中，所述优化算法为奇异值分解SVD法或最小二乘法。

3.根据权利要求1或2所述的方法，其特征在于，多个不同的二维码与所述多个标定板关联，每个二维码覆盖于关联的标定板平面，所述方法还包括：

根据平面约束、所述每个二维码中心点在世界坐标系下的坐标、以及所述每个二维码中心点到关联的标定板四条边的距离，确定所述每个二维码关联的标定板的多个角点在世界坐标系下的坐标，其中，所述平面约束为所述每个二维码覆盖于关联的标定板平面的约束；

根据所述每个二维码关联的标定板的多个角点在世界坐标系下的坐标和所述每个二维码关联的标定板在所述第二传感器下的位姿信息，确定所述每个二维码关联的标定板的多个角点在所述第二传感器坐标系下的坐标。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：

对所述多个标定板中的每个标定板执行以下计算，获得所述每个标定板的多个角点在所述第一传感器坐标系下的坐标：

根据所述第一传感器采集的所述每个标定板的点云数据，确定所述每个标定板的四条边的点云数据；

对所述每个标定板的四条边的点云数据进行直线拟合，获得所述每个标定板的四条边所在直线的空间表示；

计算所述每个标定板的四条边所在直线中的任意相邻两条边所在直线在三维空间的交点，获得多个交点，其中，所述多个交点为所述每个标定板的多个角点在所述第一传感器坐标系下的坐标。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述根据映射关系，对所述三维点云数据和所述二维图像数据进行数据融合，以获得所述目标场景的三维重建结果，包括：

根据所述第二传感器的内部参数和所述映射关系，对所述三维点云数据和所述二维图像数据进行数据融合，获得融合结果；

对所述融合结果进行渲染，获得所述目标场景的三维重建结果。

6.根据权利要求5所述的方法，其特征在于，所述映射关系通过旋转矩阵和平移向量进行表示，

所述根据所述第二传感器的内部参数和所述映射关系，对所述三维点云数据和所述二维图像数据进行数据融合，获得融合结果，包括：

根据所述第二传感器的内部参数、所述旋转矩阵和所述平移向量，选择具有映射关系的所述三维点云数据包括的任意一个点和所述二维图像数据包括的像素点；

将具有映射关系的所述三维点云数据包括的任意一个点和所述二维图像数据包括的像素点进行数据融合，获得所述融合结果。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：

将所述目标场景的三维重建结果发送给客户端，以用于在所述客户端显示所述目标场景的三维重建结果。

8.根据权利要求1至7任一项所述的方法，其特征在于，所述第一传感器为激光雷达，所述第二传感器为相机，

所述目标场景为挖掘机工作场景，所述激光雷达和所述相机设置于挖掘机驾驶舱的顶部，所述激光雷达与所述相机之间的距离小于预设阈值。