[发明专利]呈现超出全方位媒体的VR媒体的方法和装置

说明书

一种视频处理方法，包括：接收至少一个虚拟现实(VR)内容，从该至少一个VR内容获得至少一个图像，对所述至少一个图片进行编码以生成编码位流的一部分，以及通过文件封装电路，将编码比特流的一部分封装成至少一个ISO基媒体文件格式(ISOBMFF)文件。该至少一个ISOBMFF文件包括用第一组平移坐标参数化的第一轨道，其中第一组平移坐标标识第一全方位媒体内容的原点。

【交叉引用】

本发明要求以下申请的优先权：在2017年7月13日提出的申请号为62/531,906的美国临时专利申请。上述美国临时专利申请整体以引用方式并入本文中。

【技术领域】

本发明涉及处理虚拟现实(virtual reality,简写为VR)内容，更具体而言，涉及用于呈现超出全方位媒体(Omnidirectional Media)的VR媒体的方法和装置。

【背景技术】

虚拟现实(VR)最近获得了极大的关注，主要受到消费者设备(例如头戴式显示器(HMD))近期市场供应情况的推动。具有HMD的VR与多种应用相关联。向用户显示宽视野内容的能力可用于提供沉浸式视觉体验。必须在所有方向捕获真实环境，从而产生全向VR内容。随着摄像机装备和HMD的进步，因为呈现这样的360°内容需要高位率，全向VR内容的传递可能很快成为瓶颈。

近年来，大型行业的参与证明了围绕VR进行了大量活动。例如，由于预期消费者VRHMD的日益普及将导致对VR内容的需求增加，各种公司也开始开发全向相机以允许捕获360°内容。但是，缺乏适当的标准以及因此降低的互操作性正成为一个问题。因此，运动图像专家组(MPEG)已经启动了称为全方位媒体应用格式(OMAF)的项目，该项目旨在标准化360°音频-视频内容的存储和传送格式。在OMAF的上下文中，存储和传送格式基于ISO基媒体文件格式(ISOBMFF)。但是，关于VR内容存储和传送的开发标准，还有很大的改进空间。例如，需要呈现超出全方位媒体的VR媒体。

【发明内容】

本发明的目的之一是提供一种用于呈现超出全方位媒体的VR媒体的方法和装置。

根据本发明的第一方面，提供了一种示例性视频处理方法。该示例性视频处理方法包括：接收至少一个虚拟现实(VR)内容；从所述至少一个VR内容中获取至少一个图像；编码所述至少一个图像以生成编码位流的一部分；通过文件封装电路将编码位流的一部分封装成至少一个ISO基媒体文件格式(ISOBMFF)文件，其中所述至少一个ISOBMFF文件包括用第一组平移坐标参数化的第一轨道，以及该第一组平移坐标标识第一全方位媒体内容的原点。

根据本发明的第二方面，提供了一种示例性视频处理装置。示例性视频处理装置包括转换电路，视频编码器和文件封装电路。转换电路被布置为接收至少一个虚拟现实(VR)内容，并从所述至少一个VR内容获得至少一个图像。视频编码器被布置为对所述至少一个图像进行编码以生成编码位流的一部分。文件封装电路被安排成将编码位流的一部分封装成至少一个ISO基本媒体文件格式(ISOBMFF)文件，其中所述至少一个ISOBMFF文件包括用第一组平移坐标参数化的第一轨道，并且该第一组平移坐标标识第一全方位媒体内容的原点。

在阅读了在各个附图和附图中示出的优选实施例的以下详细描述之后，本发明的这些和其他目的无疑将对本领域技术人员变得显而易见。

【附图说明】

图1是示出根据本发明的实施例的虚拟现实(VR)系统的图。

图2是示出根据本发明的实施例的等距矩形投影(ERP)的图。

图3是示出根据本发明的实施例的立方体图投影(CMP)的图。

图4是示出根据本发明的实施例的第一区域性打包示例的图。

图5是示出根据本发明的实施例的第二区域性打包示例的图。