[发明专利]任意观看角度的部分解码及虚拟现实视频的线帧缓存器降低

说明书

本发明公开了一种方法及装置，其用于在视频的子区域被选择以用于观看时对视频帧进行部分解码。本方法识别并解码显示子区域所需的视频帧的数据单元和像素块，而绕过被识别为显示子区域所不需的数据单元和像素块。视频编码器接收包括对应于全尺寸360度虚拟现实图像的第一配置中的多个立方体表面。每个立方体表面对应于立方体的不同表面。编码器通过根据不同于第一配置的第二配置将多个立方体表面重新排列，重新格式化接收到的视频帧。第二配置重新排列立方体360度虚拟现实图像的6个表面，以为了完全利用线缓存器，并允许线缓存器比全尺寸360度虚拟现实图像窄。

交叉引用

本发明主张在2015年10月13日提出申请号为62/240,693的美国临时专利申请和在2015年12月14日提出申请号为62/266,764的美国临时专利申请的优先权，其整体以引用方式并入本文中。

技术领域

本发明通常涉及电子装置中的视频编码和解码，且更具体而言，涉及允许任意观看角度或观看区域的虚拟现实视频应用。

背景技术

除非此处另有说明外，本部分所描述的方法相对于下面列出的权利要求而言不是现有技术，并且通过本部分的引入不被承认是现有技术。

360度虚拟现实(360-degree virtual reality，360VR)是变化的、增强的或者替代的环境的视听模拟。视觉现实视频环绕着用户，使得用户在向任何方向或者在任何任意观看角度上朝周围看时，感觉他或者她处于现实生活中。360VR视频产生独特的高质量且高分辨率的全景视频，以在用于各种应用的打印和全景虚拟旅游产业中的使用，例如，娱乐、导向训练(pilot training)、手术和在空间或者深水中的勘探。

发明内容

以下内容仅是示例性的，不用于以任何方式限制。也就是说，以下内容用于介绍本新颖且不明显技术所描述的概念、亮点、优点和优点。在下面的具体实施方式中进一步描述实施方式。因此，以下内容并不旨区别所要求的主题的基本特征，也不用于确定所要求主题的范围。

本发明一些实施例提供一种装置及方法，其用于在视频的子区域被选择以用于观看时对视频帧进行部分解码。具体地，根据本发明的方法或者装置可以识别并解码显示子区域所需的视频帧的数据单元和像素块，而绕过被识别为显示子区域所不需的数据单元和像素块。

在一些实施例中，解码器可以接收处于视频帧序列中的多个已编码视频帧，其中每个视频帧包括像素块集。视频帧序列可以包括主帧和参考主帧以用于编码的从帧。解码器可以接收在多个视频帧中选择特定视频帧的子区域的规格。当特定视频帧是主帧时，解码器全解码特定视频帧。当特定视频帧是从帧时，解码器可以通过解码特定视频帧中包含由规格选择的子区域的像素块子集，部分解码特定视频帧。解码器可以存储特定视频帧的已解码的多个像素块以用于显示。

在一些实施例中，编码器通过部分解码最大化性能增益，例如，通过最小化从帧中帧内编解码和/或帧内预测块的数量，可以被约束成产生已编码视频。在一些实施例中，编码器可以通过使用帧间预测，最小化从帧中帧内编解码和/或帧内预测块的数量。在一些实施例中，如果帧内预测块的相邻块均是帧间预测块，则编码器可以允许帧内预测块。

在一些实施例中，视频编码器可以接收球面格式或者立方体格式的360度虚拟现实视频帧。当接收到的360度虚拟现实视频帧处于立方体格式时，视频帧具有多个立方体面，每个对应于立方体的不同面。视频编码器可以通过重新排列多个立方体面，重新格式化360度虚拟现实视频帧。已重新格式化视频帧的立方体面被排列成：(i)6个立方体面的单列、(ii)每列三个立方体面的两列或者(iii)每行三个立方体面的两行。

附图说明