[发明专利]用于平滑视图切换和缩放的计算性多相机调整

说明书

技术领域

本发明总体上涉及用于调整多相机阵列中的图像的系统和方法，并且在特定实施例中，涉及用于校正单个相机中的固有缺陷并且调整相机相对于相机阵列中的其它相机的位移，旋转或焦距的系统和方法。

背景技术

日益增强的计算能力、大容量存储器以及不断扩展的传输带宽已经使得视频和成像市场中的各种应用成为可能，这为现代用户提供了各种丰富的视觉体验。廉价数码相机的出现使得许多感应系统能够容纳大量相机，例如作为斯坦福沉浸式电视项目一部分的斯坦福多相机阵列。通过使用廉价的相机簇来捕获动态的真实世界场景，从而可以为用户提供例如数字重聚焦和合成大光圈等多种沉浸式体验，否则这些沉浸式体验不可能获得或只能通过特定的高端昂贵的专业设备才能获得。

可以将相机阵列中多个相机拍摄的图像一起排序来提供这些沉浸式体验，而不需要专门设备。在实践中，对平滑视图切换和缩放的需求很高，以便在电视和电影制作中提供丰富的观看体验。随着时间跨越多个相机来切换帧创建了单个相机正在移动的效果。例如，推镜效果、冻结时间(或子弹时间)效果和长全景效果是可以普遍地在电影、广播和纪录片中看到的最流行的效果。

创建平滑视图切换效果的另一种方式在于通过光场渲染(或基于图像的渲染)，其可以合成某个场景的不同视图。然而，只有在进行密集采样时，即，当将大量相机密集地放置在一起组成大的重叠视场时，光场渲染才能获得合理的效果，因为需要进行过度样来抵消不需要的混叠效应。此外，与直接视图切换相比，光场渲染需要更高的计算能力来创建合成视图，因此很难用于实时或在线视频制作。对于现场直播或对于小消费群体，采用大量相机以及强大的计算能力而产生的成本通常是不现实的。

发明内容

一种用于计算性地调整来自多相机系统的图像的实施例方法包括：接收校准图像序列，其中，每个校准图像序列对应于相机阵列中的一个相机并且具有一个或多个图像帧；根据相应相机的目标相机位姿或目标相机内部矩阵来计算相机阵列中的每个相机的目标相机模型，其中，所述计算生成了所述一个或多个第一相机中的每一个的变换矩阵；将所述一个或多个第一相机中的每一个的变换矩阵应用于对应于相应相机的校准图像序列，其中，所述变换矩阵转换校准图像序列的每个图像帧，并生成目标图像序列。

一种实施例系统包括：处理器；非瞬时性计算机可读介质，其与所述处理器进行通信，并且存储有指令。所述指令使所述处理器获取多个图像序列，其中，每个图像序列对应于相机阵列中多个相机中的一个相机。所述指令还使所述处理器：从所获取的多个图像序列中生成多个校准图像序列；计算多个目标相机模型，其中，所述多个目标相机模型中的每一个对应于所述多个相机中的一个；根据所述目标相机模型生成所述多个相机的多个变换矩阵。所述指令还使所述处理器根据所述多个变换矩阵从所述多个校准图像序列中生成多个目标图像序列。

另一种实施例系统包括：相机阵列，其中，所述相机阵列具有多个相机，所述多个相机中的每一个与所述多个相机中的另一个相机具有重叠视场；处理系统，其与所述相机阵列进行信号通信。所述处理系统具有存储有指令的非瞬时性计算机可读介质，所述指令用于使处理系统：使所述多个相机获取多个图像序列；根据所述多个相机的内参数和外参数从所获取的多个图像序列中生成多个校准图像序列。所述指令还使处理系统：将所述多个校准图像序列保存到第二非瞬时性计算机可读介质；从所述多个校准图像序列中生成多个目标图像序列，其中，所述多个目标图像序列中的每一个是根据与所述多个相机中的一个相机对应的模型相机的内参数和外参数生成的；从所述多个目标图像序列中的一个或多个中生成输出图像序列。

附图说明

为了更完整地理解本发明及其优点，现在参考下文结合附图进行的描述，其中：

图1A至1D为各种实施例提供的相机阵列的示意图；

图2为一些实施例提供的用于调整来自多相机阵列的图像的处理系统的示意图；

图3为一些实施例提供的用于调整来自多相机系统的图像的方法的流程示意图；

图4为一些实施例提供的用于生成相机的内参数和外参数的方法的流程示意图；

图5为一实施例提供的具有可改变的聚焦中心的圆形阵列中的相机的示意图；

图6为一实施例提供的具有多个焦点的相机的平面阵列的示意图；

图7为一些实施例提供的原始相机位姿和目标相机位姿的示例的示意图；

图8为一些实施例提供的具有原始焦距的第一焦轴和具有目标相机焦距的第二焦轴的示例的示意图；