[发明专利]一种基于多传感器的实景重建方法及系统

说明书

本发明公开了一种基于多传感器的实景重建方法及系统，包括：分别获取场景的三维点云信息以及图像信息；将所述三维点云信息与图像信息进行配准；将不同视角获取到的图像信息进行图像融合，生成全景图像；将所述三维点云信息和全景图像输入到训练好的神经网络模型，最终生成三维实景。本发明利用激光雷达、毫米波雷达、相机等多种传感器，获取场景更丰富的点云数据，通过点云数据与图像信息的融合，生成涵盖更多场景信息的三维实景，为安防监控、智慧城市、无人驾驶及工业自动化等业务提供重要实景信息支持。

技术领域

本发明涉及三维实景重建技术领域，尤其涉及一种基于多传感器的实景重建方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

当前，实景重建技术被广泛应用智慧出行、无人驾驶、生活服务等领域，同时在民用领域得到了广泛普及。在信息化的社会中，实景导航服务是生活智能化的重要功能，譬如在无人驾驶中，基于实景重建的导航是实现车辆路径规划的重要前提。

在当前三维重建领域，主要有三种方法：

第一类方法是通过图像进行三维重建，即通过全景相机或多视角相机通过对周边场景进行拍照，通过图像融合算法来进行去全景效果重建，这类方法实际上只是场景的复现，且只能查阅图像采集点所在的全景视角，并没有达到完全意义上的三维重建。

第二类方法是通过倾斜摄影对场景进行三维重建，这类方法通过五目相机在多方位对目标场景进行图像采集，进一步通过影像拼接技术对场景进行三维重建，但这类方法重建后的细节之处往往较差，大都通过贴图的方式进一步丰富场景的细节信息，三维重建流程漫长。

第三类方法是通过三维点云信息对场景进行三维重建，这类方法展现的效果大都是点云信息，可视效果不友好。因此，如何通过多传感器数据的融合来进行实景重建是当前研究的重点。

发明内容

为了解决上述问题，本发明提出了一种基于多传感器的实景重建方法及系统，通过多传感器数据的融合来进行实景重建，能够生成涵盖更多场景信息的三维实景。

在一些实施方式中，采用如下技术方案：

一种基于多传感器的实景重建方法，包括：

分别获取场景的三维点云信息以及场景在不同视角下的图像信息；

将所述三维点云信息与不同视角下的图像信息分别进行配准；

将配准后的不同视角的图像信息进行图像融合，生成全景图像；

将所述三维点云信息和全景图像输入到训练好的神经网络模型，最终生成三维实景。

在另一些实施方式中，采用如下技术方案：

一种基于多传感器的实景重建系统，包括：

数据获取模块，用于分别获取场景的三维点云信息以及图像信息；

信息配准模块，用于将所述三维点云信息与不同视角下的图像信息分别进行配准；

图像融合模块，用于将配准后的不同视角的图像信息进行图像融合，生成全景图像；

实景重建模块，将所述三维点云信息和全景图像输入到训练好的神经网络模型，最终生成三维实景。

在另一些实施方式中，采用如下技术方案：

一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行上述的基于多传感器的实景重建方法。

在另一些实施方式中，采用如下技术方案：