[发明专利]多路视频与三维模型融合方法及其装置、设备和存储介质

权利要求书

1.一种多路视频与三维模型融合方法，其特征在于，所述方法包括：

获取多个监控相机的内外参数、及视频数据，据以形成对应当前帧的三维场景模型、及对应所述三维场景模型的场景模型颜色贴图；

在所述三维场景模型中分别对各所述监控相机的视角下的三维场景进行渲染以得到对应各所述监控相机的监控深度图像，以及对应虚拟相机的视角下的三维场景进行渲染以得到虚拟深度图像、及彩色图像；

依据所述虚拟相机的内外参数、虚拟深度图像、及各所述监控相机的监控深度图像以选取与所述虚拟相机的视角最接近的监控相机，并判断所述虚拟相机的视角下的目标点在当前选取的最接近的所述监控相机的视角下是否被遮挡；

若被遮挡，则判断是否存在下一个与所述虚拟相机的视角最接近的监控相机；若存在，则重复上一步骤；若不存在，则依据所述场景模型颜色贴图的像素颜色进行渲染；

若未被遮挡，则依据当前选取的最接近的所述监控相机的视频解析图像中对应所述目标点的像素颜色对所述虚拟相机视角下的目标点进行渲染；

最终得到对应当前帧的经完整渲染的三维场景模型。

2.根据权利要求1所述的多路视频与三维模型融合方法，其特征在于，依据所述虚拟相机的内外参数、虚拟深度图像、及各所述监控相机的监控深度图像以选取与所述虚拟相机的视角最接近的监控相机的方法包括：

依据所述虚拟相机的内外参数、及虚拟深度图像计算其视角下所述目标点在所述三维场景模型中的三维坐标；

计算所述目标点在所述三维场景模型中的三维坐标分别到所述虚拟相机、及各监控相机的位置的方向向量，并计算所述虚拟相机对应的方向向量分别与各所述监控相机对应的方向向量之间的夹角；

选取各所述夹角中最小的夹角所对应的所述监控相机为与所述虚拟相机的视角最接近的监控相机。

3.根据权利要求1所述的多路视频与三维模型融合方法，其特征在于，判断所述虚拟相机的视角下的目标点在当前选取的最接近的所述监控相机的视角下是否被遮挡的方法包括：

依据当前选取的最接近的所述监控相机的内外参数计算所述目标点在所选监控相机的视角下的第一深度值；

依据当前选取的最接近的所述监控相机所对应的所述监控深度图像以获取其上对应所述目标点的第二深度值；

判断所述第一深度值是否大于所述第二深度值；若是，则判定为被遮挡；若否，则判定为未被遮挡。

4.根据权利要求3所述的多路视频与三维模型融合方法，其特征在于，依据当前所选取的述监控相机的内外参数计算所述目标点在所选监控相机的视角下的第一深度值所依据的公式如下：

其中，X、Y、Z为所述目标点在所述三维场景模型中的三维坐标；x、y为所述目标点在所选监控相机的物理坐标系下的二维坐标；R、T、K为所述监控相机的内外参数，

d为所述目标点在所选监控相机的视角下的深度值。

5.根据权利要求3所述的多路视频与三维模型融合方法，其特征在于，所述判断所述虚拟相机的视角下的目标点在当前选取的最接近的所述监控相机的视角下是否被遮挡的方法还包括：

预设一偏移量，以判断所述第一深度值是否大于所述第二深度值与所述偏移量之和；

若是，则判定为被遮挡；若否，则判定为未被遮挡。

6.根据权利要求1所述的多路视频与三维模型融合方法，其特征在于，所述多个监控相机的内外参数、及视频数据是经过二进制格式处理后进行获取的。

7.根据权利要求1所述的多路视频与三维模型融合方法，其特征在于，所述场景模型颜色贴图是依据所述三维场景模型得到的静态场景颜色贴图；所述场景颜色贴图包含不同解析度的颜色数据以匹配所述三维场景模型中不同的像素精度。