[发明专利]具有流估计和图像超分辨率的多相机阵列图像的视图插补

说明书

本公开涉及具有流估计和图像超分辨率的多相机阵列图像的视图插补。论述了与从多视图图像插补中间视图图像有关的技术。这种技术包括对表示场景的视图的第一图像和第二图像进行下采样，基于将第一CNN应用到缩减的第一图像和第二图像来生成视差图，利用视差图来平移缩减的第一图像和第二图像，将第二CNN应用到平移的缩减第一图像和平移的缩减第二图像以及视差图以生成缩减的中间图像，并且利用图像超分辨率卷积神经网络将缩减的中间图像扩增到具有第一图像和第二图像的分辨率的中间图像。

技术领域

本公开大体地涉及图像处理领域，具体地涉及使用深度学习的具有流估计和图像超分辨率的多相机阵列图像的视图插补。

背景技术

在多视图相机阵列图像(例如，来自场景的两个或更多个视图的图像)的情境中，在呈现给观看者的二维静态图像中创建深度的感觉和感知使得图像更有吸引力。例如，运动视差效果可被用于向用户呈现更有吸引力的图像，使得利用多相机阵列系统从不同视点捕获场景并且合成中间视图，从而使得当图像被从不同的角度观看时观看者可感知到场景中的深度信息。

用于合成中间视图的当前技术包括估计图像对之间的光流并且使用估计的流来预测中间图像。一些光流技术使用提供有限准确度的朴素数学方法，而其他光流技术使用基于补丁的方法来预测中间图像，这在有限的一组场景中提供良好的准确度，但在其能够处理的视差方面是有限的并且在计算上是非常密集的。

在多视图相机阵列或其他多视图情境中就准确度和计算效率两者改进中间视图合成，可能是有利的。正是考虑到这些和其他考虑事项，所以需要本改进。随着在多种情境中显示多视图图像和中间合成图像的愿望变得更普遍，这种改进可能变得至关重要。

发明内容

本公开的实施例提供了用于实现卷积神经网络(CNN)的系统。该系统包括：存储第一图像和第二图像存储器，其中第一图像和第二图像包括场景的不同视图并且具有第一分辨率；以及与存储器耦合的处理器。该处理器：对第一图像和第二图像进行缩减以提供第一缩减图像和第二缩减图像；至少部分地基于将第一卷积神经网络应用到第一输入体积来生成至少一个视差图，第一输入体积包括第一缩减图像和第二缩减图像，其中视差图包括视差值来平移第一缩减图像和第二缩减图像；至少部分地基于视差图来确定第一平移缩减图像和第二平移缩减图像；将第二卷积神经网络应用到第二输入体积以生成缩减的中间图像，第二输入体积包括第一平移缩减图像和第二平移缩减图像以及视差图，缩减的中间图像包括第一平移缩减图像和第二平移缩减图像之间的视图；至少部分地基于将图像超分辨率卷积神经网络应用到缩减的中间图像来生成具有第一分辨率的中间图像；并且提供中间图像来呈现给观看者。

另外，本公开的实施例提供了由上述系统执行的用于从多视图图像生成中间图像的方法，以及包括指令的计算机可读介质，所述指令当在计算设备上运行时使得该计算设备执行用于从多视图图像生成中间图像的方法。

附图说明

在附图中以示例方式而非限制方式图示了本文描述的素材。为了图示的简单和清晰，附图中图示的元素不一定是按比例绘制的。例如，为了清晰，一些元素的尺寸相对于其他元素可被夸大。另外，在认为适当时，附图标记在附图之间被重复以指示出对应的或相似的元素。在附图中：

图1图示了用于从多视图图像生成中间视图的示例设备；

图2图示了用于从示范性左右图像生成示例中间视图的示例系统；

图3图示了示例视图合成网络，包括示例图像扭曲子网络和示例颜色预测子网络；

图4图示了示例光流卷积神经网络；

图5图示了示例图像超分辨率卷积神经网络；

图6A、6B、6C和6D分别图示了利用本文论述的技术生成的示例右输入图像、示例左输入图像、示例视差图和示例中间图像；