[发明专利]用于提供360度沉浸式视频的图块选择和带宽优化

权利要求书

1.一种在沉浸式视频优化系统(215)中操作的方法(1900)，所述方法包括：

获取(1902)一个或多个流清单文件，所述一个或多个流清单文件针对与媒体输入流的多个比特率表示中的特定的一个比特率表示相对应的每个图块编码的比特流，描述每帧的图块分组的特性，每个比特率表示具有与用于每个比特率表示的对应量化参数QP值有关的单独的视频质量，其中，图块编码的比特流的每个帧包括图块阵列，所述图块阵列被组织到每帧的至少一个切片中，其中，多个帧形成所述图块编码的比特流的图片组GOP结构；

获得(1904)与形成帧的图块阵列相对应的图块权重；

获得(1906)与所述媒体输入流的多个比特率表示相对应的变化的权重；

对于图块编码的比特流中的每个图块编码的比特流，为跨GOP结构的每个图块/GOP组合确定(1908)作为变化的权重和图块权重的函数的充足性度量值；

响应于所述充足性度量值，从对应的图块编码的比特流中选择(1910)具有不同比特率质量的图块，以用于形成帧，其中，对所选择的图块的比特率质量进行优化，以满足传输缓冲器模型进行复用的视频输出流的传输；以及

将所选择的图块提供(1912)给复用器，以生成包含所选择的图块在内的帧，作为复用的视频输出流的一部分；

其中，响应于来自客户端设备(236)的注视矢量来确定所述图块权重，所述客户端设备(236)操作用于向用户显示360°沉浸式视频资产，所述图块权重基于所述注视矢量和与每个图块位置相关联的方向矢量之间的角度间隔，所述每个图块位置分别与解码的帧投影在由用户观看的3维3D显示环境上的图块阵列相对应。

2.根据权利要求1所述的方法(1900)，其中，基于高效率视频编码HEVC H.265压缩、开放媒体联盟AOMedia视频1AV1压缩和H.266/多功能视频编码VCC压缩中的至少一种，来将所述图块编码的比特流生成为多个阶段编码的比特流。

3.根据权利要求1所述的方法(1900)，其中，基于高效率视频编码HEVC H.265压缩、开放媒体联盟AOMedia视频1AV1压缩和H.266/多功能视频编码VCC压缩中的至少一种，来将所述图块编码的比特流的一部分生成为块内编码的比特流。

4.根据权利要求1所述的方法(1900)，其中，所述传输缓冲器模型操作用于估计用于在一段时间内传输预定数量的帧的缓冲器使用需求。

5.根据权利要求4所述的方法(1900、2000)，还包括：

接收(2012)可用于所述客户端设备(236)进行涉及所述360°沉浸式视频资产的多媒体会话的估计的带宽量；以及

基于所述估计的带宽量，迭代地升级图块充足性度量值，以选择(2018)具有最佳比特率质量的图块。

6.根据权利要求5所述的方法(1900)，还包括：当选择具有最佳比特率质量的图块时，在计算与升级帧内编码的I帧图块相关联的初始充足性度量值时，应用(2136)惩罚值。