[发明专利]用于捕获与构造全景或立体图像流的方法与装置

说明书

为了捕获与构造场景的全景或立体图像流，利用至少一个图像捕获设备(C,)，按照像素格式对该场景的至少两个不同图像进行多次相继捕获操作，这些图像重迭或不重迭，这些相继捕获操作是依一频率(F)进行，而此频率定义在两次相继捕获操作的开始间的捕获时间(T)。对于各次捕获操作，(a)对各个捕获图像的像素进行数字处理，以便利用所述像素使用短于或等于该捕获时间(T)的处理时间以形成一最终全景或立体图像；以及(b)在短于或等于该捕获时间(T)之时段上产生一先前形成的最终全景或立体图像。各个所捕获图像之各个像素的数字处理(a)至少包含保留或抛弃该像素，并且当保留该像素时，利用对于该最终全景或立体图像上之各个位置的预定加权因子(W)向该像素分配在该最终全景或立体图像上的一个或更多个位置。

技术领域

本发明是关于一种用于捕获并构造立体或全景图像流的方法与装置。此全景或立体图像流可为按如电影方式所储存、转发或发布，或者是进行处理以自该全景或立体图像流获取其一或多张静态图像。

背景技术

在“单拍”式全景图像捕获领域，已知有多款图像捕获设备，例如CCD或CMOS类型的相机，而各个图像捕获设备含有图像传感器，例如是CCD或CMOS类型的图像传感器，这些传感器耦接于光学装置(透镜)藉以将某场景的图像投射至该图像传感器上。图像捕获设备的光轴的指向会在不同的方向上，并且图像捕获的光学视域可针对于该图像的完整全景视域而重迭。国际专利申请WO 2012/032236公开一种光学装置，此装置极为紧凑，并且含有三个经标注为“光学群组”的图像捕获设备，同时使得能够以360°视域进行“单拍”式全景图像捕获。

在本文中，该词汇“全景图像”应依其广泛意义所解读，不限于捕获单一360°视域的图像，而是更广泛地适用于依照延伸视域构造的图像，此延伸视域相较于该全景图像捕获所使用之图像捕获设备中的每一个所覆盖的光学视域更为宽广。

利用这项全景图像捕获方法，图像捕获设备中的每一个可在有限光学视域内依像素矩阵的形式获取一场景的图像，然后将这些图像转发至外部的数字处理装置，此数字处理装置使得能够在它们的重迭区域处进行数字方式的图像”缝合”，藉此产生最终的全景图像。

各个像素矩阵代表由一图像捕获设备所捕获的图像，这是来自于一球形区域之3D表面被该图像捕获设备所观看到的二维投射。此二维投射依据各个图像捕获设备而定，并且尤其按照图像捕获透镜的光学特性，以及图像捕获设备在图像捕获过程中的空间指向(即偏指(Yaw)、俯仰(Pitch)和横滚(Roll))，而定。

在现有技术里，要将图像经数字缝合以构成一全景图像，可例如在当并行排置由这些图像传感器所送出的图像时进行，而且是通过在它们的重迭区域处进行图像数字缝合，藉此方式来得到最终全景图像。在此情况下，实施数字缝合并不对像素的二维投射进行修改，同时该最终全景图像的像素会保留所源自之图像传感器的二维投射。

此数字缝合可为自动地执行，如在国际专利申请WO2011/037964或美国专利申请2009/0058988中所公开那样；或者可通过手动辅助而以半自动的方式执行，即如在国际专利申请WO2010/01476中所公开那样。

以下文献中亦提议一种用于全景图像构造的数字图像缝合解决方案，其标题为：“Image Alignment and Stitching:A Tutorial”，作者Richard Szeliski，2005年1月26日。此文中是对所储存图像静态地，然非以动态方式，执行数字缝合，因此在该文章中所公开的数字缝合解决方案确无法使得构造动态的全景图像流，更别提在当正进行图像捕获时按照实时方式构造动态的全景图像流。

而在立体图像捕获的领域里，已知该方法可包含捕获某场景的两个平面图像，随后是数字处理这两张平面图像藉以产生一使得能够感知深度与廓形的立体3D图像。