[发明专利]基于倾斜摄影与全景视频融合的实景三维重建方法及系统

说明书

本发明属于三维重建领域，提供了一种基于倾斜摄影与全景视频融合的实景三维重建方法及系统。其中，基于倾斜摄影与全景视频融合的实景三维重建方法包括基于目标场景的倾斜摄影数据，构建目标场景的初始三维模型；获取目标场景的全景视频，通过特征点匹配来查找全景视频与初始三维模型的共有特征，构建出全景视频帧与初始三维模型的仿射变换关系；根据观测视角选取全景视频帧的局部区域，再通过仿射变换关系对全景视频的角度进行调整，将全景视频帧的局部区域投影嵌套到初始三维模型中，实时输出具备静态信息与动态信息的实景三维模型。其通过将倾斜摄影获取的三维模型与多组的全景视频进行嵌套组合显示，能够生成具备静态信息与动态信息的三维实景。

技术领域

本发明属于三维重建领域，尤其涉及一种基于倾斜摄影与全景视频融合的实景三维重建方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

随着行业应用的不断升级，传统地理信息作为智慧城市建设基本元素的局限性也日益突出，国内很多城市建设三维地理数据是基于已有的测绘成果数据，将采集来的地表和建筑物信息通过电脑建模，生成城市的三维模型。但这种传统手工建模的三维数据建设，周期长、精度低，应用效果有很大局限性。鉴于智慧城市对城市三维建模的巨大需求，以及三维技术的日渐成熟，倾斜摄影已成为智慧城市中三维地理空间信息获取的重要手段。发明人发现，虽然倾斜摄影测量技术构建的模型客观真实，但是需要采集大量数据，且处理时间长，无法实时显示三维场景。全景视频是通过360°全景摄像机拍摄，经过视频拼接算法，实时将静态的全景图片转化为动态的视频图像。全景视频拍摄可以实时记录周围所发生的一切，并且通过立体的方式展现出来，但全景视频只能查看到局部区域的场景，无法实现宏观上的三维可视化。

发明内容

为了解决上述背景技术中存在的至少一项技术问题，本发明提供一种基于倾斜摄影与全景视频融合的实景三维重建方法及系统，其通过将倾斜摄影获取的三维模型与多组的全景视频进行嵌套组合显示，能够生成具备静态信息与动态信息的三维实景。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种基于倾斜摄影与全景视频融合的实景三维重建方法。

一种基于倾斜摄影与全景视频融合的实景三维重建方法，其包括：

基于目标场景的倾斜摄影数据，构建目标场景的初始三维模型；

获取目标场景的全景视频，建立全景视频帧与初始三维模型的仿射变换关系；

根据观测视角选取全景视频帧的局部区域，再通过仿射变换关系对全景视频的角度进行调整，将全景视频帧的局部区域投影嵌套到初始三维模型中，实时输出具备静态信息与动态信息的实景三维模型。

作为一种实施方式，基于全景视频与初始三维模型的共有特征来建立全景视频帧与初始三维模型的仿射变换关系。

上述技术方案的优点在于，利用共有特征能够准确地获取全景视频帧与初始三维模型的仿射变换关系，从而提高全景视频帧的局部区域投影嵌套到初始三维模型的准确性，最终输出准确地实时实景三维模型。

作为一种实施方式，通过特征点匹配来查找全景视频与初始三维模型的共有特征。

上述技术方案的优点在于，这样能够提高查找速度，从而提高实时实景三维模型的效率。

作为一种实施方式，目标场景的倾斜摄影数据包括采用目标场景的倾斜图像、GPS观测数据以及像控点。

作为一种实施方式，基于目标场景的倾斜摄影数据，通过Smart3D/StreetFactory自动构建目标场景的初始三维模型。

作为一种实施方式，对目标场景的初始三维模型中有偏差的区域进行优化。