[发明专利]立体深度相机阵列的实时配准

说明书

背景

图像配准(“配准”)是这样的过程：通过该过程经由来自两个或更多个相机的图像而从不同角度捕捉的现实世界的特征被匹配，使得有关现实世界的信息可被聚集。典型的示例包括将来自两个标准相机的RGB(红色、绿色、蓝色)图像组合以产生三维(3D)深度图像，以及将来自一个相机的深度数据与来自另一个相机的色彩数据进行组合。配准通常在技术上有挑战性的且实现可能是计算密集和耗时的，这通常使他们仅适合于相机出厂设置的初始校准。

提供本背景来介绍以下概述和详细描述的简要上下文。本背景不旨在帮助确定所要求保护的主题的范围，也不旨在被看作将所要求保护的主题限于解决以上所提出的问题或缺点中的任一个或全部的实现。

概述

图像捕捉设备中的相机阵列的实时配准可通过调整映射函数中已被确定为对配准误差具有最大贡献的所选的独立参数子集(称为配准系数)在现场实现，使得该阵列可保持在它的初始出厂优化的已校准的状态。通过必须仅调整来自较大的系数集(其在出厂设置中通常是使用专门的校准目标来确定的)中的相对较小的配准系数子集，少得多的匹配图案需要在由阵列中的相机所捕捉的相应的图像中被标识出以便校正配准误差。这种经简化的图案匹配可使用在正常相机阵列使用期间捕捉的图像来执行，使得配准可在现场被实时地执行而不需要专门的校准目标。

提供该概述以便以简化形式介绍概念的选集，所述概念在以下详细描述中被进一步描述。该概述不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在被用来帮助确定所要求保护的主题的范围。而且，所要求保护的主题不限于解决该公开的任一部分中所注的任何或全部缺点的实现方式。

应当理解，上述主题可被实现为计算机控制的装置、计算机进程、计算系统或诸如一个或多个计算机可读存储介质等制品。通过阅读下面的详细描述并审阅相关联的附图，这些及各种其他特征将变得显而易见。

附图简述

图1和2示出其中可实现本实时配准的使用多媒体控制台的说明性的计算环境；

图3示出其中可实现本实时配准的使用个人计算机的替换计算环境；

图4示出可部分地被用于实现本实时配准的说明性的捕捉设备；

图5是示出用于实现本实时配准的方法的概览的示图；

图6示出如何配准，配准包括特征被从由一个相机捕捉的图像映射至由另一个相机捕捉的图像；

图7是说明性的工厂校准方法的流程图；

图8和9示出说明性的校准目标；

图10是例示出对理想系统的配准的图示；

图11示出描述图10中所示的理想系统中的配准的方程；

图12示出描述图10中所示的理想系统中的配准的简化的线性方程；

图13示出描述影响由不同相机捕捉的图像之间的映射的视差效果的等式；

图14是例示出对于比图10中所示的理想系统更复杂的系统的配准的图示；

图15示出说明性的映射函数；

图16示出该映射函数的泰勒级数表示；

图17示出绘制示例性捕捉设备的温度对照时间的说明性的曲线；

图18示出示例性捕捉设备的随时间的说明性的配准误差；

图19是说明性的预热分析的流程图；

图20-22是三个不同的系统的绘制20个配准系数中的每一者的配准误差的直方图；

图23是说明性的实时配准校正方法的流程图；

图24示出可部分地被用于实现本实时配准的说明性的多媒体控制台的框图；

图25示出可部分地被用于实现本实时配准的说明性的计算平台的框图；

各附图中相同的附图标记指示相同的元素。除非另外指明否则各元素不是按比例绘制的。

详细描述

图1示出其中可实现本实时配准的说明性计算环境100。需要强调的是，环境100旨在是说明性，包括其他类型的设备、应用和使用场景的其他环境也可能能够利用此处描述的原理。环境100包括诸如多媒体控制台103的计算平台，该多媒体控制台通常被配置成用于使用本地和/或联网的编程和内容来运行游戏和非游戏应用、播放预先录制的多媒体(诸如包括DVD(数字多功能盘)和CD(紧致盘)的光盘)、从网络流传输多媒体、参与社交媒体、使用诸如电视机等耦合的音频/视觉显示器108来浏览因特网和其他联网媒体和内容等等。