[发明专利]使用织锦编码的多视图图像的表现和代码化

说明书

该专利文献的公开内容的一部分包含受到版权保护的材料。当该专利文献或专利公开内容出现在专利商标局专利文档或记录中时，版权所有者不反对任何人传真复制该专利文献或专利公开内容，但除此以外无论如何保留所有版权权利。

相关申请的交叉引用

本申请要求2011年9月29日提交的美国临时专利申请No.61/541,050的优先权，其通过参考全部被并入于此。

技术领域

本公开一般涉及图像和视频处理。更具体地，它涉及使用织锦（tapestry）编码的多视图图像的表现（representation）和代码化（coding）。

背景技术

近来，对于3-D内容的创建和递送已经有相当大的兴趣。已经开发并且正在开发适合于3-D特征的用于TV和媒体格式的编码和解码系统。这种媒体格式的示例性的成像应用可以在立体和自动立体显示以及包含如从多个视点（viewpoint）来观看的场景有关的信息的处理和传输的应用中被找到。通过从视点观看场景而捕获的图像可以被称为视图（view）。

由一个视图遮蔽（occlude）的场景的信息可以由一个或更多个其它视图揭示（reveal）。可以在没有直接捕获的预测视图中利用场景的各个捕获的视图。虽然各个视图可以以整体被提供（例如，用于处理和代码化）以用于成像和视频应用，但是要由代码化系统处理和传输的视图的数量增加通常与3-D内容的创建和递送中涉及的更高计算复杂性以及比特的数量增加关联。因此，3-D内容的创建和递送考虑要提供给代码化系统什么信息（例如，视图的数量以及每个视图内的什么信息）。

附图说明

被并入本说明书且构成说明书一部分的附图示出了本公开的一个或更多个实施例，并且与示例实施例的描述一起用来解释本公开的原理和实现方式。

图1示出包含在视频的每一帧中的根据本公开的许多实施例的织锦信息格式。

图2示出包括左视图和右视图的示例性的立体像对（stereo pair）。

图3示出根据亮度映射的深度图（depth map）的深度信息。

图4示出通过结合来自图2中示出的右视图的信息和右视图的图3中示出的深度图导出的左视图。

图5A和5B分别示出导出的最左边的（far-left）视图和与导出的最左边的视图关联的一个可能的校正层。

图6示出与两个视点对应的视图平截头体（frusta）的顶视图的示例。

图7A和7B示出根据第一视点和第二视点获得的场景的视图。图7C示出包括分别来自图7A和7B的第一和第二视图两者的信息的视角（perspective）图像。图7D示出可以根据图7A和7B的第一和第二视图一起产生的一个可能的织锦图像。

图8示出多视角图像，其包括适合于产生与不一定包含在多视角图像中的视点关联的视图的信息。

图9A-9C示出与图8中示出的多视角视图对应的场景坐标。

图10A-10C示出根据图8和9A-9C中示出的织锦制作的三个示例性的呈现。具体地，左、中心和右视图分别被示出在图10A-10C中。

图11提供可以被用于根据图像信息产生3-D网格（mesh）的用于3-D网格呈现的示例性方法。

图12A示出根据来自三个视图的信息的结合产生的织锦图像。图12B-12D一起示出了与图12A的织锦图像关联的3-D世界坐标图。

图13A-13C示出了根据图12A-12D的织锦产生的视图的示例。具体地，图13A-13C分别示出了左视图、中心视图和右视图。

图14示出了用于产生织锦信息和编码视频信息（包括织锦信息在内）的示例性编码系统。

图15示出了被配置为对来自图14的示例性编码系统的信息进行解码的示例性解码系统。

具体实施方式