[发明专利]处理全向视频的方法、装置以及存储介质

权利要求书

1.一种由客户端装置来处理全向视频的方法，所述全向视频与用于确定所述全向视频的视频数据在曲面上的空间位置的3D坐标系关联，所述方法包括：

接收清单文件，所述清单文件包含用于识别多个层块流的多个层块流标识符，所述层块流包含具有2D投影视频数据的视频帧，所述视频帧具有图像视图，由此不同层块流的视频帧的图像视图覆盖所述全向视频的2D投影的不同区域，一个区域定义一个层块；

基于所述清单文件中的空间关系信息，并且基于所述客户端装置的用户的视点来选择与第一分辨率和第一层块位置关联的第一层块流以及与第二分辨率和第二层块位置关联的第二层块流，所述第二分辨率低于所述第一分辨率，其中所述空间关系信息为每个层块定义层块位置，并且其中所述视点定义所述用户的查看方向，所述层块位置和所述视点基于所述3D坐标系的坐标来定义；

向一个或多个层块流存储装置请求选择的层块流；

接收所选层块流的2D投影视频数据，并且接收映射信息，所述映射信息为所述客户端装置提供用于使所述客户端装置能够将作为全向视频数据的所述层块流的所述2D投影视频数据映射到所述曲面上的信息；以及

基于所述空间关系信息和所述映射信息来处理接收的层块流的2D投影视频数据。

2.如权利要求1所述的方法，其中所述映射信息的至少部分包括在所述清单文件中。

3.如权利要求1或2所述的方法，其中，所述映射信息包含用于将所述全向视频数据投影到平面表面上的2D投影的类型的指示。

4.如权利要求3所述的方法，其中，所述映射信息还包含用于将所述2D投影视频数据映射到所述曲面上所需的一个或多个参数。

5.如权利要求1所述的方法，其中，所述视点与所述用户的视场关联，所述视点定义所述用户的视场的中心点，所述选择包括：

对位于所述视场的中心部分的至少部分中的层块位置来选择高分辨率层块流；以及

对位于所述视场的外围部分的至少部分中的层块位置来选择比所述高分辨率要低的分辨率的层块流。

6.如权利要求1所述的方法，其中，对所述2D投影视频数据的所述处理还包括：

将所述接收的层块流的2D投影视频数据解码为表示层块的视频帧；

在空间上布置与一个时刻关联的所述层块的视频帧，并且将所述视频帧拼接为一个视频帧；以及

基于所述映射信息将作为全向视频数据的所述视频帧的2D投影视频数据映射到所述曲面上。

7.如权利要求1所述的方法，其中，所选一个或多个层块流的请求和接收基于HTTP自适应流播协议。

8.如权利要求7所述的方法，其中所述HTTP自适应流播协议包括MPEG DASH流播协议或者其派生。

9.如权利要求1或2所述的方法，其中，所述清单文件还定义层块流的一个或多个表示。

10.如权利要求9所述的方法，其中所述一个或多个表示包括一个或多个分辨率表示和/或一个或多个平铺表示。

11.如权利要求1或2所述的方法，其中，所述清单文件包括一个或多个空间关系描述符SRD，空间关系描述符包含用于基于所述3D坐标系的坐标来定义所述层块的所述层块位置和维度的一个或多个SRD参数。

12.如权利要求11所述的方法，其中，所述一个或多个空间关系描述符SRD还包含用于发信号通知关于用于将所述全向视频数据投影到平面表面上的2D投影的类型的一个或多个SRD参数。

13.如权利要求12所述的方法，其中所述2D投影的类型包括等正交投影、立方体投影、圆柱投影或者其派生和/或组合其中之一的2D投影的类型。