[发明专利]一种基于多传感器的实景重建方法及系统

权利要求书

1.一种基于多传感器的实景重建方法，其特征在于，包括：

分别获取场景的三维点云信息以及场景在不同视角下的图像信息；

将所述三维点云信息与不同视角下的图像信息分别进行配准；

将配准后的不同视角的图像信息进行图像融合，生成全景图像；

将所述三维点云信息和全景图像输入到训练好的神经网络模型，最终生成三维实景。

2.如权利要求1所述的一种基于多传感器的实景重建方法，其特征在于，将所述三维点云信息与图像信息进行配准，具体过程包括：

对点云信息获取设备与图像信息获取设备进行联合标定；

将点云坐标映射到图像坐标系下；

通过坐标匹配关系，计算出点云所对应的某一视角下的图像上某处像点的像素坐标，将该像素坐标处的RGB颜色值赋给点云；

通过逆变换将映射到图像坐标系下的点云变换回原来的三维点云坐标系。

3.如权利要求1所述的一种基于多传感器的实景重建方法，其特征在于，将配准后的不同视角的图像信息进行图像融合，生成全景图像，具体过程包括：

通过特征点匹配找到不同视角图像中共有的图像部分；

通过仿射变换对图像的角度进行调整，将所有视角所采集到的图像投影到同一视角平台；

对图像之间衔接边缘、晕影问题及视差问题进行优化。

4.如权利要求3所述的一种基于多传感器的实景重建方法，其特征在于，在进行图像拼接之前，还包括：进行全景图矫直，避免在图像间拼接时出现波浪状。

5.如权利要求3所述的一种基于多传感器的实景重建方法，其特征在于，在进行图像拼接之后，还包括：通过图像均衡补偿对不同视角下图像的亮度和色调进行平衡。

6.如权利要求1所述的一种基于多传感器的实景重建方法，其特征在于，将所述三维点云信息和全景图像分别作为神经网络模型的输入；两路输入信息分别经过卷积神经网络来进一步获取点云特征信息及图像特征信息；通过卷积神经网络对两路特征信息进行融合；通过反向卷积神经网络输出带有点云位置信息的全景图。

7.如权利要求6所述的一种基于多传感器的实景重建方法，其特征在于，还包括：通过仿射变换对带有点云位置信息的全景图进行处理，生成三维实景。

8.一种基于多传感器的实景重建系统，其特征在于，包括：

数据获取模块，用于分别获取场景的三维点云信息以及图像信息；

信息配准模块，用于将所述三维点云信息与图像信息进行配准；

图像融合模块，用于将不同视角获取到的图像信息进行图像融合，生成全景图像；

实景重建模块，将所述三维点云信息和全景图像输入到训练好的神经网络模型，最终生成三维实景。

9.一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行权利要求1-7任一项所述的基于多传感器的实景重建方法。

10.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行权利要求1-7任一项所述的基于多传感器的实景重建方法。