[发明专利]一种基于双目图像和距离信息的虚实遮挡处理方法

说明书

技术领域

本发明属于虚拟现实领域，具体地说是一种基于双目图像和距离信息的虚实遮挡处理方法。

背景技术

增强现实，是虚拟现实的进一步拓展，它借助必要的设备使计算机生成的虚拟环境与客观存在的真实环境共存于同一系统中，从感官上给用户呈现出虚拟对象与真实环境融为一体的增强现实环境。在利用视频图像描绘真实环境的增强现实系统中，虚实结合技术在获得真实环境信息的基础上，需要计算虚拟物体在视频图像中相应空间位置，确定虚拟物体与真实物体之间的遮挡关系，建立虚拟物体与真实环境融为一体的逼真场景。虚拟对象与真实物体的空间遮挡关系直接影响到用户对于虚实无缝融合的体验效果，所以，虚实遮挡处理是增强现实系统中虚实结合技术的重要组成部分。而实虚遮挡的判断则需要先获得虚拟对象、真实物体分别与观察者视点的距离，然后比较二者之间的大小

增强现实系统中虚实遮挡处理多采用计算机视觉的方法解决，传统视觉计算理论具有不确定性，其原因在于把三维世界投影成二维图像，然后通过建立起该图像数据与成像过程及景物特征的数学关系来恢复三维景物的，因而存在信息丢失问题，其中最重要的是深度信息。针对不确定问题，国外学者提出双目视觉方法加以补充。双目视觉理论建立在对人类视觉系统研究的基础上，通过双目立体图像的处理，获取场景的三维信息，其结果表现为深度图，再经过进一步处理就可得到三维空间中的景物，实现二维图像到三维空间的重构。双目视觉模型中，双摄像机彼此参数一致，光轴平行且垂直于基线，构成一共极性结构，这样做是为了缩小对应的搜索空间，只有水平方向的视差，简化了对应过程。

利用多种传感器的融合，来完善现有增强现实中的三维处理涉及到的各种问题，具有很现实的实用意义。在当前利用视频图像来描绘真实环境的增强现实系统中，需要确定真实环境中的物体在视频图像中的空间位置，再通过计算虚拟物体在视频图像中的相应空间位置，才能正确地表现二者之间的遮挡关系。虽然面向虚实遮挡处理的双目视觉方法可以计算真实场景的深度信息，但是却难以处理真实物体之间存在半遮挡现象的场景。可以利用距离传感器来补充半遮挡区域内的物体的深度信息。

当前对于场景深度处理通常采用双目视觉技术，而双目视觉技术必然会存在半遮挡现象。当重要目标出现在半遮挡区域时，纯粹的双目视觉已经无法满足需求。现有的对半遮挡问题的研究仅限于针对点的匹配，消除半遮挡带来的误差与噪声，没有从根本上去解决半遮挡问题。而基于视频设备的虚实遮挡处理，也并没有解决半遮挡问题，只是依赖利用空间关系，事先在场景上方添加摄像机等方式回避了半遮挡问题。基于多类传感器的虚实遮挡处理，也采用了相对较复杂的设备，并且对场景的事先布置也要求较高。丧失了双目视觉的简单与快速以及不需要事先布置场景的优点。本发明利用距离传感器，在必要的时候直接获取被遮挡区域目标的深度信息为双目视觉提供补充信息。从而既保持双目视觉的被动及快速的优势，又不过分增加设备的复杂性，更好地完成了虚实遮挡处理。

发明内容

本发明的目标是提供一种基于双目图像和距离信息的虚实遮挡处理方法，基于双目图像匹配及多传感器配准的技术，实现在增强现实环境中的进行虚实遮挡处理，解决双目视觉固有的半遮挡问题。本发明的重点是如何根据双目图像物体边缘确定物体间的半遮挡现象，如何利用激光测距补充基于双目图像的真实场景深度信息，为虚实融合场景生成奠定基础。

本发明采用的技术方案是：首先，通过检测双目图像获得真实物体的边缘信息，提取每一个边缘点对应的若干边缘像素(包括位于边缘两侧的像素)，并且将两幅图像的边缘像素进行灰度匹配，判断真实物体之间是否存在半遮挡现象；其次，利用双目图像和激光测距分别确定光强阶跃集合与距离阶跃集合，根据阶跃之间的距离，将光强阶跃集合与距离阶跃集合进行匹配，基于能量函数计算每次匹配的能量值，由最小能量值确认两个集合之间的最佳匹配，并且以该最佳匹配表示光强阶跃与距离阶跃之间的映射关系；根据光强阶跃与距离阶跃之间的映射关系，建立双目图像和距离信息之间的空间坐标映射关系，确定补充基于双目图像的真实场景深度信息；基于激光测距补充的真实场景深度信息，在半遮挡区域完成虚拟物体与真实物体之间的虚实遮挡处理。