[发明专利]确定用于光场数据结构的图像分布的方法

说明书

技术领域

本发明涉及一种确定用于光场数据结构的图像分布的方法。本 发明还涉及一种用于确定光场数据结构的图像分布的系统。

背景技术

随着图像处理和计算机图形领域的不断发展，近年来光场渲染 技术变得日益重要。通过光场渲染，使用由摄像机捕获的预先数字化 处理的图像能够创建场景的真实感图形的视图，无论这些图像是人工 创建的还是由摄相机拍摄的实际场景图像。例如，可从场景的三维模 型产生光场，或者可使用实际场景的图像(例如，通过布置在场景周 围的一组摄相机拍摄的图像)来创建光场。在单一时刻拍摄的场景的 所有图像共同被称之为“光场数据结构”。论文“Light Field Rendering” (SIGGRAPH May 1996，Marc Levoy and Pat Hanrahan)给出了光场 渲染的说明。一些公知的电影成功地将传统的摄像机录制与计算机辅 助光场渲染结合起来从而产生了复杂但真实的特殊效果。

可使用例如手持摄像机、遥控摄像机或安装在一个结构(例如 台架)上的摄像机阵列以拍摄的方式拍摄获得光场。图1示出了这样 一种摄像机C的布置，其中所述摄像机被编成组以包围感兴趣的区 域。为了清楚起见，只示出了几台摄像机。实际上，为了获得场景的 真实感图形的三维渲染，必须从非常大量的摄像机或观察点产生图 像。这导致的问题是需要存储和传输大量的图像，而存储空间和传输 带宽是昂贵的资源。

为了以成本低廉的方式存储或传输图像，可使用一些有损耗的 数据压缩方法来压缩图像，这导致图像质量的损失，但这种损失对于 观看者来说是不明显的。使用有损耗的数据压缩算法压缩或编码的图 像可由较少的比特来表示。一些这种有损耗的压缩技术是已知的。例 如，用于有损耗图像压缩的最常见方法是变换编码，其中对图像数据 进行傅立叶相关变换(例如离散余弦变换(DCT))。用于图像(和 音频)压缩的一个常用标准是MPEG-2(动态影像压缩标准)。

整体(即没有使用从其它图像获得的信息)压缩的图像或帧通 常被称为“帧内编码图像”、“帧内图像”、“I图像”或“I帧”。 因为整个图像或帧都被压缩，所以能够再次将其渲染为非常高的质量 等级。然而，通过利用图像序列中的图像数据通常是冗余的这样的事 实甚至能够节省更多的带宽。例如，每个帧的一个部分(例如，蓝天) 在一个帧序列上可保持相同。很明显，图像序列中的每个图像的这一 部分只需要编码一次，而只需要对关于参考图像已经改变的图像的那 些部分进行编码。这种类型的压缩被称为“帧间压缩”或“预测编码”， 以这种方式压缩的图像被称为“帧间图像”、“P-图像”或“P-帧”。 可使用由同一台摄像机拍摄的前一图像(I图像或P图像)对P图像 进行编码。有人指出可基于高质量(I图像)和低成本(P图像)之 间的平衡通过使用光场数据结构的压缩方案来获得良好的图像质量 (从视图观看者的角度)，其中图像中的一部分被压缩为I图像，而 剩余部分被压缩为P图像。然而，为了在渲染中获得特定等级的质 量，I图像应该在光场数据结构上均匀分布，可将其理解为图像的虚 拟排布。图2a示出了这种压缩方案的一个示例。这里，在光场数据 结构的每个次行中的每个第二图像是由字母“I”表示的I图像，而 剩余图像被编码为由字母“P”表示的P图像。图2b示出了另一种 可能的压缩方案。在论文“Data Compression for Light-Field Rendering”(Marcus Magnor and Bernd Girod，IEEE Trans actions on Circuits and Systems for Video Technology，Vol.10，No.3，April 2000) 中公开了使用I图像和P图像的数据压缩技术。

在一些图像渲染应用(例如交互的3D视频应用)中，可能的是 某一目标或项目被看得特别重要的，例如足球比赛中的足球。通常， 观看者的注意力将集中在球上。在使用如上所述拍摄的图像所渲染的 3D交互视频应用中，用户可能希望渲染场景以使得该“重要目标” 成为人们注意的中心。然而，光场数据压缩的现有技术状态并不适用 于这种考虑。使用所述已知的技术，选择某一压缩方案，例如图2a 中所示的方案，并使用该方案对所有光场数据结构进行编码，而不管 所述图像实际上最适合帧内图像压缩还是帧间图像压缩。因此，其中 没有使用充足数量的I图像来对重要目标进行编码的“不利的”压缩 方案可能导致渲染的场景的质量显著不足。

发明内容