[发明专利]用于光场压缩和解压缩的系统和方法

说明书

显示系统包括用于存储第一光场的第一存储设备和用于存储第二光场的第二存储设备。第一光场包括图像的二维阵列，每个图像包括图像图块的相应二维阵列，以及第二光场包括第一光场的压缩表示。该系统进一步包括至少一个处理器，其被配置为基于所消除的图像图块与光场的其他图像的相同图块位置中的图像图块之间的所识别的冗余，从包含在第二光场中选择性地消除第一光场的图像的图像图块。

技术领域

本申请涉及用于光场压缩和解压缩的系统和方法。

背景技术

虚拟现实(VR)和增强现实(AR)应用通常寻求使用户能够在整个场景(虚拟或现实世界)中移动并且使用户能够从用户的头戴式设备(HMD)或其他VR/AR观看设备的当前姿势查看场景。已经提出光场作为光内容格式以使得能够从许多不同视角渲染场景的影像。然而，适合于真实描绘的光场可能需要许多千兆字节的存储，通常使得它们的传输、存储和处理对于许多现实世界的实施方式是不可行的。对于移动消费者设备而言，由于它们相对有限的存储、传输和处理资源，将光场用于VR和AR应用所需的资源量通常特别成问题。

发明内容

本申请的一个示例方面涉及一种系统，包括：用于存储第一光场的第一存储设备，所述第一光场包括图像的二维阵列，每个图像包括图像图块的对应二维阵列；用于存储第二光场的第二存储设备，所述第二光场包括所述第一光场的压缩表示；以及至少一个第一处理器，所述至少一个第一处理器被配置为基于所消除的图像图块和所述光场的其他图像的相同图块位置中的图像图块之间的所识别的冗余，从所述第二光场中的包含物中选择性地消除所述第一光场的图像的图像图块，其中，所述至少一个第一处理器被配置为通过下述操作来选择性地消除图像图块：将所述第一光场的图像的所述二维阵列组织成二叉树结构，其中，所述二叉树结构的每个节点表示图像的所述二维阵列的对应图像；以及对于所述二叉树结构的每个非叶节点：

对于所述非叶节点处的所述图像的每个图像图块，响应于候选图像图块和所述非叶节点处的所述图像的所述图像图块之间的差异，从所述第二光场中选择性地消除所述非叶节点的后代节点处的图像中位于相同图块位置的所述候选图像图块。

本申请的另一示例方面涉及一种系统，包括：用于存储压缩光场的存储设备，所述压缩光场包括具有图像的二维阵列的光场的压缩表示，每个图像包括图像图块的对应二维阵列，并且其中，所述图像图块的至少子集已从所述压缩光场中消除；以及至少一个处理器，所述至少一个处理器耦合到所述存储设备并且被配置为：识别用于在渲染表示由所述压缩光场表示的场景的视图的影像中使用的所述二维阵列的一个或多个图像的一个或多个图像图块的集合；以及响应于确定所述一个或多个图像图块的集合包括从所述压缩光场中的第一图像中所消除的第一图像图块，使用所述压缩光场中的第二图像并且使用第一差异导数矢量来重构所述第一图像图块，所述第二图像被识别为所述第一图像的参考图像，所述第一差异导数矢量是从与所述第一图像图块具有相同图块位置的所述第二图像的第二图像图块的所述压缩光场存取的，所述第一差异导数矢量包括一个或多个差异导数，所述一个或多个差异导数指定如何根据所述二维阵列中的第一图像和所述第二图像之间的位置关系，通过在一个或多个维度中对应移位所述第二图像来重构所述第一图像图块，其中，所述至少一个处理器还被配置为通过以下操作来重构所述第一图像图块：基于所述第一差异导数矢量，相对于表示所述第一图像图块的图块位置的边界的重构窗口，在一个或多个维度中移位部分的所述第二图像，所述部分的所述第二图像包括所述第二图像图块和所述第二图像的至少一个其他图像图块；以及将在移位所述部分的所述第二图像之后被包含在所述重构窗口内的像素设置为所述第一图像图块的重构表示。