[发明专利]用于多相机或其他环境的超分辨率深度图生成

说明书

一种方法，包括：使用至少一个处理器获得第一输入图像帧和第二输入图像帧，其中第一输入图像帧和第二输入图像帧分别与第一图像平面和第二图像平面相关联。该方法还包括使用至少一个处理器获得与第一输入图像帧相关联的第一深度图。该方法还包括通过执行一次或多次以下操作来生成第二深度图：(a)使用至少一个处理器，使用(i)一深度图和(ii)标识从第一图像平面到第二图像平面的转换的信息，将第一输入图像帧投影到第二图像平面，以产生投影的图像帧；以及(b)使用至少一个处理器调整该深度图和标识从第一图像平面到第二图像平面的转换的信息中的至少一个。

技术领域

本公开总体上涉及成像系统。更具体地，本公开涉及用于多相机或其他环境的超分辨率深度图生成。

背景技术

许多移动电子设备(例如智能手机和平板电脑)都包括可用于捕获静止图像和视频图像的相机。在许多这种移动电子设备中，可以基于场景内的不同估计深度，使用场景的捕获图像来执行各种图像处理操作。例如，“散景(bokeh)”是指通过使图像的离焦部分(例如图像的背景)模糊同时使图像的其他部分(例如前景或一个或多个被摄物)保持聚焦来帮助改善图像的美学质量的效果。在数码单镜反光(DSLR)相机或其他高端相机中，由于相机及其相关镜头的设计和操作，在捕获的图像中会光学地产生散景。但是，在诸如智能手机和平板电脑之类的移动电子设备中，散景通常是通过计算方式而非光学方式产生的。例如，移动电子设备可以估计图像内的场景中的各种深度，并且可以通过使与较大深度相关联的像素更多地模糊并使与较小深度相关联的像素更少地模糊或根本不模糊来产生散景。

发明内容

本公开提供了用于多相机或其他环境的超分辨率深度图生成。

在第一实施例中，一种方法包括：使用至少一个处理器获得第一输入图像帧和第二输入图像帧，其中所述第一输入图像帧和所述第二输入图像帧分别与第一图像平面和第二图像平面相关联。该方法还包括：使用所述至少一个处理器获得与所述第一输入图像帧相关联的深度图。该方法还包括通过执行一次或多次以下操作来生成所述深度图的另一个版本：(a)使用所述至少一个处理器，使用(i)所述深度图和(ii)标识从所述第一图像平面到所述第二图像平面的转换的信息，将所述第一输入图像帧投影到所述第二图像平面，以产生投影的图像帧；以及(b)使用所述至少一个处理器调整所述深度图和标识从所述第一图像平面到所述第二图像平面的转换的所述信息中的至少一个。

在第二实施例中，一种装置包括：至少一个存储器，被配置为存储第一输入图像帧和第二输入图像帧，其中所述第一输入图像帧和所述第二输入图像帧分别与第一图像平面和第二图像平面相关联。该装置还包括：至少一个处理器，被配置为获得与所述第一输入图像帧相关联的深度图。所述至少一个处理器还被配置为通过执行一次或多次以下操作来生成所述深度图的另一个版本：(a)使用(i)所述深度图和(ii)标识从所述第一图像平面到所述第二图像平面的转换的信息，将所述第一输入图像帧投影到所述第二图像平面，以产生投影的图像帧；以及(b)调整所述深度图和标识从所述第一图像平面到所述第二图像平面的转换的所述信息中的至少一个。

在第三实施例中，一种非暂时性计算机可读介质包含指令，这些指令在被执行时使得至少一个处理器获得第一输入图像帧和第二输入图像帧，其中所述第一输入图像帧和所述第二输入图像帧分别与第一图像平面和第二图像平面相关联。所述介质还包含在被执行时使得所述至少一个处理器获得与所述第一输入图像帧相关联的深度图的指令。所述介质还包含在被执行时使得所述至少一个处理器通过执行一次或多次以下操作来生成所述深度图的另一个版本的指令：(a)使用(i)所述深度图和(ii)标识从所述第一图像平面到所述第二图像平面的转换的信息，将所述第一输入图像帧投影到所述第二图像平面，以产生投影的图像帧；以及(b)调整所述深度图和标识从所述第一图像平面到所述第二图像平面的转换的所述信息中的至少一个。

根据下面的附图、描述和权利要求，其他技术特征对本领域技术人员而言可以是容易理解的。

附图说明