[发明专利]深度立体：学习从现实世界形象预测新视图

说明书

使用深度网络的深度学习以从现有图像预测新视图的系统和方法可以从大规模数据生成和改进模型和表示。该深度学习的系统和方法可以采用从大量提出图像集合训练的，直接从像素执行新视图合成的深度架构。采用该类型的深度网络的系统可以基于相邻视图的像素产生未看见的视图的像素，有助于应用于图形生成。

本申请要求于2015年5月13日提交的美国临时申请序号No.62/161,159的优先权，将其通过引用并入如同完全在此阐述的那样。

技术领域

本文档总的来说关于与图像相关联的深度网络和深度学习。

背景技术

深度网络和深度学习可以应用于根据大规模数据生成和改进模型和表示。可以考虑深度学习是机器学习的更广泛应用的一部分。深度学习可以基于例如从多级处理/计算装置积蓄的计算机视觉中的特征表示的无监督学习，这多级处理/计算装置形成从低级到高级特征的分级。这多层的组成和布置可以例如基于要解决的特定问题来开发。

发明内容

在一个方面中，一种方法可以包括：访问来自数据库的多个提出图像集合，该多个姿势提出图像集合分别对应于多个场景，该多个提出图像集合中的每一个包括多个场景中的相应的场景的多个视图；根据自动视图生成算法，基于从与该场景对应的提出图像集合中包括的场景的多个视图中选出的视图生成所请求的场景视图，其中，所请求的场景视图不包括在相应的提出图像集合中包括的场景的多个视图中；比较由自动视图生成算法生成的场景的视图与已知的场景视图；和基于比较更新视图生成算法。

在另一方面中，一种方法可以包括：接收要呈现的场景的视图的请求；从数据库访问分别表示多个场景视图的多个存储的提出图像；从多个存储的提出图像选择多个图像，所选的多个图像表示与所请求的场景视图相邻的场景视图；在多个深度重投影所选的多个图像中的每一个的深度片段；基于在重投影的深度片段的像素，确定所请求的场景视图的深度和确定在所确定的深度的所请求的场景视图的每个像素的颜色；和生成所请求的场景视图。

在另一方面中，一种方法可以包括：接收场景的视图的请求；从存储多个提出图像集合的数据库检索包括多个相应的场景的视图的多个提出图像集合中的每一个，该提出图像集合对应于所请求的场景视图；和基于从相应的提出图像集合中包括的多个场景视图选出的视图生成所请求的场景视图，所请求的视图不包括在相应的提出图像集合的多个场景视图中。

在另一方面中，用于生成场景视图的系统可以包括网络。该网络可以包括包含处理器的计算装置，该计算装置与数据库通信，该数据库存储分别对应于多个场景的多个提出图像集合，该多个提出图像集合中的每一个包括多个场景中的相应的场景的多个视图，该网络包括选择塔，配置为确定所请求的输出图像中的每个输出像素的深度，所请求的输出图像对应于所请求的场景视图，和颜色塔，配置为生成所请求的输出图像的每个输出像素的颜色。该选择塔和颜色塔可以配置为从与所请求的场景视图对应的提出图像集合中包括的多个场景视图选择的视图，所请求的场景视图不包括在相应的提出图像集合的多个场景视图中。选择塔和颜色塔可以配置为生成用于由计算装置的处理器处理以生成所请求的场景视图的所请求的输出图像。

在以下的附图和描述中阐述一个或多个实施方式的细节。其他特征从说明书和附图，以及从权利要求中显现。

附图说明

图1A和图1B图示根据在这里描述的实施方式从现有图像呈现的新视图。

图2图示根据在这里描述的实施方式，从各种视图到在深度范围的新目标相机视场的各种图像的平面扫过立体重投影。

图3和图4图示根据在这里描述的实施方式的包括选择塔和颜色塔的网络。

图5图示根据在这里描述的实施方式，配置为学习产生每个深度平面中每个像素的选择概率的选择塔。

图6图示根据在这里描述的实施方式，配置为学习跨源地组合和弯曲像素以产生在多个深度平面的特定像素的颜色的颜色塔。