[发明专利]多路视频与三维模型融合方法及其装置、设备和存储介质

说明书

本申请提供的一种多路视频与三维模型融合方法及其装置、设备和存储介质，通过获取多个监控相机的内外参数、及视频数据以形成三维场景模型，通过渲染得到对应各所述监控相机的监控深度图像，以及对虚拟相机的虚拟深度图像、及彩色图像，依据所述虚拟相机的内外参数、虚拟深度图像、及各所述监控相机的监控深度图像以选取与所述虚拟相机的视角最接近的监控相机，并判断所述虚拟相机的视角下的目标点在当前选取的最接近的所述监控相机的视角下是否被遮挡，最终得到对应当前帧的经完整渲染的三维场景模型。本申请能够极大改善视频与三维模型融合的效果，避免了场景物体出现重叠或颜色失真的问题。

技术领域

本申请涉及三维模型渲染、图像处理技术领域。尤其是涉及一种多路视频与三维模型融合方法及其装置、设备和存储介质。

背景技术

目前，城市中有大量的摄像头用于视频监控，基本只用到了二维的图像信息。事实上，还能够对监控相机的空间位置信息加以利用。

在现有相关技术中，已经有三维模型与监控视频的融合技术。这种技术通常是从监控视频流提取视频帧，并将视频帧投射到三维空间场景里，以实现视频数据与三维模型数据进行全时空立体融合，进而使得三维模型和通过监控视频实时拍得到的三维场景图像实现实时完美结合。该技术能够实现三维场景的直观表达，得到被遮挡物体的信息等。

但是，由于监控场景的复杂性，往往在现有相关技术中，所建立的三维模型效果，或者在所建立的三维模型中选取任意一角度的观察效果并不理想。例如，两个或两个以上监控视频能共同拍摄到的区域的会出现重叠、扭曲等无法顺滑拼接的问题。再或者，在任选一观察角度所呈现的画面中，图像像素颜色或出现失真或者不匹配的问题。

申请内容

鉴于以上所述现有技术的缺点，本申请的目的在于提供一种多路视频与三维模型融合方法及其装置、设备和存储介质，用于解决现有技术中三维视频融合效果不佳的问题。

为实现上述目的及其他相关目的，本申请提供一种多路视频与三维模型融合方法，所述方法包括：获取多个监控相机的内外参数、及视频数据，据以形成对应当前帧的三维场景模型、及对应所述三维场景模型的场景模型颜色贴图；在所述三维场景模型中分别对各所述监控相机的视角下的三维场景进行渲染以得到对应各所述监控相机的监控深度图像，以及对应虚拟相机的视角下的三维场景进行渲染以得到虚拟深度图像、及彩色图像；依据所述虚拟相机的内外参数、虚拟深度图像、及各所述监控相机的监控深度图像以选取与所述虚拟相机的视角最接近的监控相机，并判断所述虚拟相机的视角下的目标点在当前选取的最接近的所述监控相机的视角下是否被遮挡；若被遮挡，则判断是否存在下一个与所述虚拟相机的视角最接近的监控相机；若存在，则重复上一步骤；若不存在，则依据所述场景颜色贴图的像素颜色进行渲染；若未被遮挡，则依据当前选取的最接近的所述监控相机的视频解析图像中对应所述目标点的像素颜色对所述虚拟相机视角下的目标点进行渲染；最终得到对应当前帧的经完整渲染的三维场景模型。

于本申请的一实施例中，依据所述虚拟相机的内外参数、虚拟深度图像、及各所述监控相机的监控深度图像以选取与所述虚拟相机的视角最接近的监控相机的方法包括：依据所述虚拟相机的内外参数、及虚拟深度图像计算其视角下所述目标点在所述三维场景模型中的三维坐标；计算所述目标三维坐标分别到所述虚拟相机、及各监控相机的位置的方向向量，并计算所述虚拟相机对应的方向向量分别与各所述监控相机对应的方向向量之间的夹角；选取各所述夹角中最小的夹角所对应的所述监控相机为与所述虚拟相机的视角最接近的监控相机。

于本申请的一实施例中，判断所述虚拟相机的视角下的目标点在当前选取的最接近的所述监控相机的视角下是否被遮挡的方法包括：依据当前选取的最接近的所述监控相机的内外参数计算所述目标点在所选监控相机的视角下的第一深度值；依据当前选取的最接近的所述监控相机所对应的所述监控深度图像以获取其上对应所述目标点的第二深度值；判断所述第一深度值是否大于所述第二深度值；若是，则判定为被遮挡；若否，则判定为未被遮挡。