[发明专利]用于生成鲁棒性立体图像的技术

说明书

技术领域

本发明总地涉及立体图像，并且，更具体地，涉及从采用和不用诸如闪光器件的光源所捕获的一对对应的立体图像中生成鲁棒性立体图像的技术。 

背景技术

近来，三维(3D)立体图像和视频在消费者市场中已备受青睐。随着相对便宜的3D HDTV(高清晰度电视)装置的市场化所引入的更宽泛的3D内容选择已经使以3D形式观看图像和视频变得更加普遍。使计算机配备照相机装置以及从立体图像对中计算深度和空间关系已通过3D建模、机器人导航、新图像合成、增扩实境、以及游戏中的应用而被大量记载。近来，立体成像已展示在像诸如Finepix3D照相机和Bloggie3D照相机的手持视频照相机那样常见的应用中。 

常规地，应用使用基本立体重建算法从所捕获的立体图像中生成深度图(depth map)以通过对取自偏移位置的、跨两个或两个以上图像的场景点的投射加以比较来针对每个像素生成深度值。以另一种方式来讲，立体重建算法基本是像素匹配操作。典型地通过最小化平方和、最大化像素相关性、或通过应用秩(rank)或统计变换(census transform)并随后匹配秩或位串来实施像素匹配。这些算法在有纹理的表面上工作较好，但算法难以在具有均匀颜色的表面上进行准确匹配。此外，像素匹配算法临近于遮挡(occlusion)边界可能失败，因为在边界处的深度间断点将使局部像素跨不同图像而有所不同(即封闭表面在一个图像中遮挡背景中的像素但在其他图像中则遮挡不同的背景对象并且因此，那些像素不具有对应匹配)。常规算法可能失败的情况的一个好的示例是当通过细网格诸如藤椅或铁丝网围栏来拍摄照片时。 

因此，本领域所需要的是用于生成与立体图像相关联的准确的、逐像 素的深度图的更有效的方法。 

发明内容

本发明的一个实施例阐述了用于从立体图像的集合中生成深度图的方法。方法包括以下步骤：生成与立体图像的集合中的第一图像和立体图像的集合中的对应第二图像相关联的比率图，其中第一图像通过使用环境照明由第一图像传感器所捕获，并且第二图像通过使用闪光照明由第一图像传感器所捕获。第一图像对应于与由第一图像传感器捕获第一图像大致同时地由第二图像传感器所捕获的第三图像。类似地，第二图像对应于与由第一图像传感器捕获第二图像大致同时地由第二图像传感器所捕获的第四图像。方法进一步包括以下步骤：基于第二图像和第四图像的比较生成与第二图像相关联的像差图，以及生成与第二图像相关联的深度图。方法还可包括以下步骤：生成与第三图像和第四图像相关联的比率图、生成与第四图像相关联的像差图、以及生成与第四图像相关联的深度图。针对第二图像中的每个像素，比率图将像素与基于第二图像的针对像素的第一强度值和基于第一图像的针对对应像素的第二强度值的比率相关联、像差图根据将第二图像中的像素与第四图像中的对应像素加以比较的像素匹配算法来将像素与像差值相关联，其中像素匹配算法包括基于与像素相关联的比率的至少一个计算，并且深度图将像素与基于焦距、基线偏移距离以及与像素相关联的像差值所计算的深度值相关联。 

本发明的另一个实施例阐述了包括指令的计算机可读存储介质，当由处理单元所执行时，该指令致使处理单元根据上文所阐述的方法实施用于从立体图像的集合中生成深度图的操作。本发明的又一个实施例阐述了用于从立体图像的集合中生成深度图的系统。系统包括存储器和处理器。存储器配置为存储由两个或两个以上图像传感器所捕获的立体图像的集合，该立体图像的集合包括通过使用环境照明由第一图像传感器所捕获的第一图像、通过使用闪光照明由第一图像传感器所捕获的第二图像、与由第一图像传感器捕获第一图像大致同时地由第二图像传感器所捕获的第三图像、以及与由第一图像传感器捕获第二图像大致同时地由第二图像传感器所捕获的第四图像。处理器耦连到存储器并配置为根据上文所阐述的方法 实施用于从立体图像的集合中生成深度图的操作。 

所公开的系统的一个优点是立体视觉照相机对于生成鲁棒性深度图并不要求光源位置或强度分布的高校准度。本文所描述的技术可实现在许多低成本的手持设备中。简单比较使用不同照明度的所捕获的光强度的比率提供了信息，该信息可用来有效率地匹配与相同表面相对应的像素并且可用来在位于像素匹配算法中的不同深度处的像素之间进行区分。 

附图说明

因此，可以详细地理解本发明的上述特征，并且可以参考实施例得到对如上面所简要概括的本发明更具体的描述，其中一些实施例在附图中示出。然而，应当注意的是，附图仅示出了本发明的典型实施例，并且因此不应被认为是对其范围的限制，本发明可以许可其他等效的实施例。