[发明专利]一种自适应观察视点的动态纹理融合方法及装置

说明书

本发明涉及一种自适应观察视点的动态纹理融合方法及装置。该方法及装置根据用户控制的观察相机的位姿自动选择两个最优的监控视频，将两个最优的监控视频作为纹理进行融合，实现了全自动计算视频融合纹理，不需要手动操作，不需要人工介入，提高了效率。且当观察相机与监控相机位姿差别较大时会出现严重扭曲，本发明可以根据观察相机的位姿匹配最优的监控相机的视频作为纹理并融合，即根据观察相机的位姿得到最优的实时融合结果，减少了扭曲现象。

技术领域

本发明涉及一种自适应观察视点的动态纹理融合方法及装置。

背景技术

借助无人机或者数码相机拍摄监控场景的图片可用于重建三维场景。在进行重建之前，图片的拍摄有一定的标准，首先拍摄的图片应该完全覆盖要重建的场景；其次每张图片应该与其它至少一张图片有30％以上的重叠；最后每张图片不应该包含特写镜头。一旦所有的图片都拍摄完毕，再通过SfM和MVS算法进行三维重建以获取拍摄图片的相机位姿、场景的稀疏点云和稠密点云。有了稠密点云之后，通过泊松重建和网格简化算法可以得到监控场景的三维模型。

用图片完成监控场景的三维重建之后，将监控视频的画面作为纹理映射到三维场景的模型上，因此需要获取监控相机的内参并计算相机的位姿，由于监控相机大部分时间都是固定不变的，因此只需要通过监控相机的某一帧画面计算相机位姿即可，当监控相机位姿发生改变时，取一帧重新计算即可。首先，对要标定的视频帧提取SIFT特征点，然后与用于监控场景三维重建中拍摄的图片进行匹配，借助SfM方法即可计算得到视频相机的位姿。对于单个监控视频而言，得到相机位姿和内参之后，三维模型中的每个顶点都能计算得到纹理坐标，最后再根据视频画面更新纹理即可实现视频纹理映射。

现有技术中有手动调整进行视频拼接实现多视频融合，效果如图1所示。图1为手工拼接视频纹理得到的视频与三维场景融合的效果图。现有技术中也有通过手工从多视频重叠部分选取混合区域进行混合，示意图及效果图如图2所示。其中图2左侧为手工选取混合部分示意图，右侧为手工混合前后的效果图。但现有技术存在如下缺点：

1.需要手动操作；

2.视频纹理融合为静态方式，无法根据观察相机位姿选取最合理的视频作为纹理，当监控视频相机与观察相机位置差别较大时，会出现严重扭曲。

发明内容

本发明实施例提供了一种自适应观察视点的动态纹理融合方法及装置，以至少解决现有技术需要人工介入、无法适应观察视角变化导致扭曲的技术问题。

根据本发明的一实施例，提供了一种自适应观察视点的动态纹理融合方法，包括以下步骤：

根据用户控制的观察相机的位姿自动选择两个最优的监控视频；

将两个最优的监控视频作为纹理进行融合。

进一步地，根据用户控制的观察相机的位姿自动选择两个最优的监控视频包括：

对于虚拟三维监控场景中每个三角形面片T_i，首先计算从T_i中心到监控相机V_j的单位方向向量v_ij，当观察相机O在虚拟场景中移动旋转时，每帧实时计算从T_i中心到观察相机O的单位方向向量u_io，此时对于三角形面片T_i，最优纹理对应的监控相机V_j*通过以下公式计算：