[发明专利]基于多视点图像的虚实遮挡实时处理方法

说明书

技术领域

本发明属于图像处理技术领域，特别是涉及一种增强现实系统中图像的虚实遮挡处理方法。

背景技术

增强现实技术是随着虚拟现实技术的发展而产生的，是一种将计算机产生的虚拟物体与场景叠加到真实世界中，实现对真实世界的有效扩充和增强的技术。增强现实技术不仅可以使虚拟物体与真实世界融为一体，而且可以通过特定的设备使用户与场景中的虚拟物体进行交互，为用户提供声音、触觉及嗅觉体验。随着研究的不断深入以及关键技术的革新，人们逐渐意识到增强现实技术在生活、军事、医疗、建筑、娱乐等多个领域中具有广泛的应用前景。而虚实物体遮挡关系的正确体现是判断增强现实系统好坏的一个重要指标，错误的遮挡关系会给观察者带来虚实物体相对位置失真的错觉，严重影响系统的真实感。

对于虚实遮挡问题，国内外已有研究人员对此问题展开了研究，现阶段主要有基于模型和基于深度两类处理方法。

其中，基于模型的虚实遮挡处理方法基本原理是对遮挡虚拟物体的真实物体进行三维建模，求得该物体在世界坐标系下的三维坐标，然后利用三维注册技术将重建得到的真实物体的三维模型叠加到场景中该物体所对应的位置上，从而实现真实物体对虚拟物体的遮挡。Fuhrmann等人(Fuhrmann等人，1999年在Computers and Graphicsd中发表了《Occlusion in collaborative augmented environments》)利用这种方法在静态场景条件下可以准确地获取正确虚实遮挡关系，但对于复杂的真实物体进行精确三维建模比较困难，且建模结果的好坏直接影响虚实遮挡处理的效果。Lepetit等人(Lepetit,V.和Berger,M.O.Handling，2000年在IEEE and ACM International Symposium on Augmented Reality中发表了《occlusion im augmented reality systems:a semi-automatic method》)提出了一种半自动方法，首先选取视频序列中的部分视频图像作为关键帧，用户通过手动选取关键帧图像中遮挡虚拟物的真实物体轮廓，利用相邻关键帧图像中物体轮廓的二维信息重建物体轮廓的三维坐标，最后将重建的真实物体重投影到中间帧图像上，得到虚实遮挡关系正确的合成图像。该方法在摄像机视角发生变化时也能获得正确的虚实遮挡关系，不仅适合静态场景图像而且适合动态场景，但三维重建过程较困难，计算量过大。

基于深度的虚实遮挡处理方法基本原理是首先计算真实场景图像中每个像素点的深度信息，然后根据观察者的视点位置、虚拟物体的叠加位置以及求得的深度信息，比较虚拟物体与真实物体的空间位置关系，如果虚拟物体被真实物体遮挡，则在显示合成场景图像时，只绘制虚拟物体未被遮挡的部分，不绘制被遮挡的部分。Yokoya等人(1999年，Yokoya等人在Proceedings of the 1st International Symposia on Mixed Reality中发表了《Stereo vision based video see-through mixed reality》)提出利用双目立体视觉原理计算真实场景图像上物体的深度信息，根据观察者的视点位置和深度信息完成虚实遮挡处理，求取整幅图像上每个像素的深度信息，与虚拟物体的深度值进行对比得到遮挡关系，该类方法虽然判定准确度高，能够处理复杂物体的遮挡问题，但计算量太大，不具备实时性。

发明内容

针对现有的各虚实遮挡处理方法存在的不足，本发明的目的在于提出一种基于多视点图像的虚实遮挡实时处理方法，通过剔除背景中无关对象，提取虚拟物轮廓，计算虚拟物和真实物目标区域的深度值并比较判别正确的虚实遮挡关系，利用帧缓存技术重新绘制，实现场景中虚实物体的正确遮挡。

本发明的技术方案是：

基于多视点图像的虚实遮挡实时处理方法，主要包括以下四个步骤：

(1)将标识物贴附在真实物体上，并通过双目全景摄像机捕捉真实场景下的多视点图像。在虚实遮挡关系的判别过程中，为了避免混淆，便于区分视频图像中的真实物体与虚拟物体，通常在三维的真实物体上贴一个标识物。这里的标识物选择一个带有黑色正方形外边框的方形图片，该图片的黑色正方形外边框内为白色方框区域，在白色方框区域可以设计不同的图案或者文字。