[发明专利]用于多视图视频流的通用图块编码

说明书

本公开涉及用于多视图视频流的通用图块编码。本发明公开了用于对多视图视频进行编码和递送的技术，其中所述视频被表示为标识可供下载的所述视频的多个片段的清单文件。所述多视图视频可以在空间上被划分为多个图块，所述多个图块总体上涵盖所述视频的整个空间区域。所述图块被编码为包含编码视频的片段，所述编码视频表示包含在其相应图块内的内容。可基于所述内容在其相应区域内的显著性来为图块赋予不同的尺寸。这样，感兴趣程度高的图块可以具有相对大的空间区域，这可以导致在存在内容运动的情况下进行有效的编码。

背景技术

期望多视图视频应用程序成为消费电子系统的新兴应用程序。多视图视频可以通过以仿真围绕观看者的多个方向(理想的是，每个方向)上的视图空间的方式显示视频来递送沉浸式观看体验。然而，观看者通常从视图空间的一小部分观看内容，这使得其他位置处的内容在流式传输和显示期间未被使用。

多视图视频应用程序为此类系统的设计者提出了对于普通“平面”观看应用程序而言未遇到的挑战。通常，期望将所有可用带宽应用于对正在观看的视频的编码以使其质量最大化。另一方面，如果/当观看者焦点改变时，无法流式传输多视频的未观看部分将引起显著的延迟。渲染系统将必须检测观看者的改变的焦点并重新分配编码带宽以呈现观看者的新焦点处的内容。实际上，此类操作将延迟对期望内容的渲染，这将妨碍观看者对多视图视频的乐趣并降低系统的用户体验。

附图说明

图1示出了根据本公开的一个方面的多视图渲染技术的应用。

图2示出了根据本公开的一个方面的视频交换系统。

图3示出了适合与本公开的各方面一起使用的具有显著区域的示例性帧。

图4示出了根据本公开的一个方面的多视图帧的拼接技术。

图5示出了根据本公开的一个方面的一种方法。

图6至图8示出了根据本公开的各方面的用于多视图帧的其他拼接技术。

图9示出了根据本公开的另一方面的视频交换系统。

图10示出了适合与本公开的各方面一起使用的示例性帧。

图11至图12示出了根据本公开的各方面的用于多视图帧的其他拼接技术。

图13示出了根据本公开的一个方面的可从图块开发的示例性多视图帧1300。

图14示出了根据本公开的一个方面的用于多视图帧的另一拼接技术。

图15示出了适合与本公开的各方面一起使用的示例性帧封装格式。

图16示出了根据本公开的一个方面的用于多视图帧的又一拼接技术。

图17示出了根据本公开的一个方面的预取操作。

图18示出了根据本公开的一个方面的片段递送技术。

图19是根据本公开的一个方面的播放器的简化框图。

具体实施方式

本公开的各方面提供了用于多视图视频的视频编码和递送技术，其中多视图视频在空间上被划分为多个图块，该多个图块总体上涵盖该视频的整个空间区域。每个图块的内容的时间序列被编码为包含表示包含在其相应图块内的内容的编码视频的可单独下载片段。可基于该内容在其相应区域内的显著性来为图块赋予不同的尺寸。这样，感兴趣程度高的图块可以具有相对大的空间区域，这可以导致在存在内容运动的情况下进行有效的编码。