[发明专利]自适应视频解码方法及其装置

说明书

本发明揭露一种自适应视频解码方法及其装置，其中，该自适应视频解码方法用于360度视频序列，该自适应视频解码方法包含：确定先前360度帧中的第一视图区域，其中，该第一视图区域与先前帧时刻的用户的第一视场相关联；基于用户的视点信息，在当前360度帧中，根据该第一视图区域确定扩展区域；以及解码该当前360度帧中的该扩展区域。本发明提供的自适应视频解码方法及其装置可改善用户体验。

交叉引用

本发明要求如下优先权：编号为62/428,571，申请日为2016年12月1日的美国临时专利申请。上述美国临时专利申请在此一并作为参考。

技术领域

本发明涉及一种360度视频解码及处理技术。特别地，本发明涉及一种用户视场(field of view)中解码360度虚拟现实(Virtual Reality，VR)视频序列的视图区域的方法。本发明揭露一种根据用户视点(viewpoint)的自适应基于区域的视频解码技术以改善用户视觉体验。

背景技术

360度视频(也称为沉浸式视频)是一种新兴技术，其提供“身临其境的感觉”。通过用户周围覆盖全景的环绕式场景(尤其是，360度视场)，取得上述身临其境的感觉。通过立体渲染进一步改善上述“身临其境的感觉”。因此，将全景视频广泛应用于虚拟现实(VR)应用中。

沉浸式视频涉及使用一个或多个摄像机捕捉场景以覆盖全景，例如，360度视场。通常，沉浸式摄像机使用摄像机组合，其中，安排该摄像机组合捕捉360度视场。典型地，为沉浸式摄像机使用两个或多个摄像机。同时拍摄所有视频并且记录场景的各个片段(也称为单独视图)。此外，也安排摄像机组合水平捕捉视角，与此同时，对射线机的其他安排也是可能的。

当360度视频提供全方位场景时，用户经常仅观察到有限视场。因此，解码器仅需解码每个360度帧的部分(例如，观察区域)并且向用户显示360度帧的相关部分。然而，用户并不总是观看相同区域。在具体使用中，用户会环顾四周，从而使得视场随时发生改变。因此，需要解码并显示不同区域。图1描述了用于观察360度视频序列的基于区域解码的示例场景，其中，用户从左到右移动其视点。帧110对应时刻T的360度帧，并且用户正看向左侧。在这种情况下，仅需解码并显示区域112。帧120对应时刻(T+1)的360度帧，并且用户正看向中央。在这种情况下，仅需解码并显示区域122。帧130对应时刻(T+2)的360度帧，并且用户正看向右侧。在这种情况下，仅需解码并显示区域132。

根据3D投影模型(projection model)以及视场，确定需解码及显示的区域。图2描述基于立体3D模型212的视场，确定视图区域的示例。投影210显示用户正看向立方体右侧的场景。立方体右侧面的区域216对应与视场相关联的区域。需要解码并显示相关区域214。接着，用户转向箭头218指示的左侧，以面对立方体的后部。在投影220中，立方体后侧面的区域226对应与视场相关联的区域。需要解码并显示对应区域224。

如上所述，基于区域解码360度帧需要解码视场，以响应用户的当前视点。如果用户穿着装配3D运动传感器的头戴式显示装置，会自动检测用户的视点或视点运动。用户也使用定点设备，指示用户的视点。为了适应360视频序列的不同视场，本领域发展出了各种3D编码系统。例如，脸书公司发展出了金字塔编码系统，其中，金字塔编码系统输出对应30个不同视场的30个比特流。然而，仅将可视视场作为主比特流。编码主比特流以允许全分辨率渲染，与此同时，可在降低分辨率下编码其他比特流。在图3中，图310描述对应可视视场的区域312。仅在全分辨率下编码本区域。图像320描述按照球面形式的360度帧示例。图像330描述已选视场的示例，并且为本所选视场生成对应比特流。图像340描述用于生成30个比特流的30个视场示例。