[发明专利]基于多视点图像的虚实遮挡实时处理方法

摘要

本发明公开了一种基于多视点图像的虚实遮挡实时处理方法，首先将标识物贴附在真实物体上，并通过双目全景摄像机捕捉真实场景下的多视点图像；其次对双目全景摄像机进行标定获取摄像机内外参数，得到三维空间坐标系到二维图像平面坐标系的变换矩阵，将虚拟物叠加到真实场景图像中获得虚实物体合成图；然后将无关对象作为背景剔除，检测与提取虚拟物轮廓，利用双目立体成像系统分别求取真实物和虚拟物的深度信息，比较深度值判别正确的虚实遮挡关系；最后利用帧缓存技术重新绘制合成的视频图像，实现场景中虚实物体的正确遮挡。

主权项

一种基于多视点图像的虚实遮挡实时处理方法，其特征在于，包括以下步骤：(1)将标识物贴附在真实物体上，并通过双目全景摄像机捕捉真实场景下的多视点图像；(2)利用步骤(1)中标识物图像的坐标特征和摄像机标定方法求取摄像机内外参数，得到三维空间坐标系到二维图像平面坐标系的变换矩阵，根据变换矩阵实现三维虚拟场景投影到二维图像平面的坐标变换，将虚拟物叠加到真实场景图像中获得虚实物体合成图；(3)对步骤(2)得到的虚实物体合成图进行虚实遮挡关系判别处理，首先将无需进行虚实遮挡关系判别的图像区域作为背景，利用局部颜色直方图和区域划分对背景进行剔除；利用Canny边缘检测算子检测并提取前景虚拟物体的轮廓线；根据双目摄像机立体成像系统的立体成像原理分别求取虚拟物图像区域所有像素点的深度值和附有标识物的真实物体所有像素点的深度值，比较虚拟物与真实物的深度值大小并判断正确的虚实遮挡关系；(4)根据步骤(3)中得到的不同区域所对应物体的正确虚实遮挡关系，利用帧缓存技术重新绘制合成的视频图像，实现场景中虚实物体的正确遮挡。