[发明专利]用于处理360°VR帧序列的方法及装置

说明书

本发明公开了用于处理360°VR帧序列的方法以及装置。根据本发明一方法，接收与所述360°VR帧序列有关的输入数据，其中每一360°VR帧包括与多面体格式有关的一组面。将每一所述一组面重排进由前子帧以及后子帧组成的矩形的整个VR帧，其中所述前子帧对应于覆盖前180°×180°视野的第一视场的第一内容以及所述后子帧对应于覆盖后180°×180°视野的第二视场的第二内容。提供对应于包括所述矩形的整个VR帧的序列的重排的360°VR帧序列的输出数据，以致可以对前视图与后视图独立地编解码，降低编解码相关性。

技术领域

本发明涉及360°视频，特别地，本发明涉及将来自360°VR视频序列的每一360°VR帧的一组多面体的多个面重排成前视图(front view)子帧以及后视图(rear view)子帧。可以将视频编解码应用于具有约束的编解码参数的360°VR视频序列的子帧。

背景技术

360°视频也称沉浸式视频，是一种新兴的技术，其可以提供“现场般的感受”。沉浸式的体验由用环绕的场景环绕用户来覆盖全景视野来实现，特别地，360°视场(field ofview)。“现场般的感受”可以由立体式渲染来进一步提升。因此，全景视频正广泛地用于虚拟现实(VR)应用中。

沉浸式视频涉及使用多个摄像机捕获场景来覆盖全景视野，例如360°视场。沉浸式摄像机通常使用一组摄像机，用于捕获360°视场。典型地，两个或多个摄像机用于沉浸式摄像机。所有视频必须要同时捕获并记录场景的分离片段(也称分离视角(separateperspectives))。此外，这组摄像机通常用于水平地捕获视图，而这些摄像机的其他配置也是可能的。

图1示出了球面坐标中360°VR图像的示例，z轴对应于极轴(polar axis)以及垂直于极轴的平面穿过x轴以及y轴。点P是由(r，θ，)表示的球面坐标，其中r表示点P到原点O的距离，θ表示天顶角(zenith angle)以及表示方位角(azimuth angle)，θ的范围是从0°到180°以及的范围是从0°到360°。

图2示出了用于将360°球面全景图像转换成立方体面帧(cubic-face frame)的示例性处理进程。可以使用360°球面全景摄像机捕获多个360°球面全景图像，球面图像处理单元210接收来自一个或多个3D摄像机的原始数据来形成360°球面全景图像，球面图像处理可以包括图像拼接(image stitching)以及摄像机校准(camera calibration)。球面图像处理在本领域是公知的技术，本发明中相关细节不再赘述。来自球面图像处理单元的360°球面全景图像的示例示于图像212中。如果摄像机是定向为顶部向上，360°球面全景图像的顶边对应于垂直顶部(或天空)以及底边侧指向于地面。然而，如果摄像机装配有陀螺仪(gyro)，不管摄像机如何定向，总是可以确定垂直顶部的方向。在360°球面全景格式中，场景中的内容好像是失真的，通常，球面格式被投影到立方体的表面作为可选的360°格式。可以由投影转换单元220执行转换来导出对应于立方体230的六个面的六个面图像222。在立方体的面上，这六个图像在立方体的边缘上连接。

除了立方体格式，还有其他多面体格式正在被使用。图3示出了包括立方体格式310(也是六个面)、八面体格式320(也就是八个面)以及二十面体格式330(也就是二十个面)的多面体格式的示例。与各种多面体格式有关的3D图像可以被转换成2D图像。例如，连接的面图像的展开结构可以用于360°VR帧，在图3中，示出了立方体的展开结构315、八面体的展开结构325以及二十面体的展开结构335。图4示出了对应于等矩形格式410中的3D图像的立方体412、八面体414以及二十面体416相关联的展开图像的示例。