[发明专利]流传输球形视频

说明书

一种方法包括：在回放设备接收第一视频流，所述第一视频流具有第一质量；在所述回放设备接收至少两个第二视频流，所述至少两个第二视频流各自与所述第一视频流的一部分相对应，所述至少两个第二视频流具有第二质量，所述第二质量与所述第一质量相比是更高的质量；在所述回放设备回放所述第一视频流；基于所述回放设备的用户的观看视角从所述至少两个第二视频流中选择第三视频流；以及在所述回放设备回放所述第三视频流连同所述第一视频流。

相关申请的交叉引用

本申请要求于2015年5月27日提交的题为“SPHERICAL VIDEO STREAMING ANDPLAYBACK(球形视频流传输和回放)”的美国专利申请号62/167,260的优先权，所述申请通过引用以其全文结合在此。

技术领域

本发明涉及流传输球形视频。

背景技术

流传输球形视频(或其他三维视频)会消耗大量的系统资源。例如，被编码的球形视频可以包括会消耗大量带宽以及与编码器和解码器相关联的处理器和存储器的用于传输的大量比特。

发明内容

示例实施例描述了用于优化流传输视频、流传输3D视频和/或流传输球形视频的系统和方法。示例实施例描述了用于优化视频的回放、3D视频的回放和/或球形视频的回放的系统和方法。

在总体方面，一种方法包括：在回放设备接收第一视频流，所述第一视频流具有第一质量；在所述回放设备接收至少两个第二视频流，所述至少两个第二视频流各自与所述第一视频流的一部分相对应，所述至少两个第二视频流具有第二质量，所述第二质量与所述第一质量相比是更高的质量；在所述回放设备回放所述第一视频流；基于所述回放设备的用户的观看视角从所述至少两个第二视频流中选择第三视频流；以及在所述回放设备回放所述第三视频流连同所述第一视频流。

实施方式可以包括以下特征中的一个或多个特征。例如，所述方法可以进一步包括：确定所述回放设备的所述用户的观看视角已经改变；基于改变的观看视角从所述至少两个第二视频流中选择第四视频流；以及在所述回放设备回放所述第四视频流连同所述第一视频流。所述第一质量是基于比特率和分辨率，所述比特率是基于最小通信信道能力，并且所述分辨率是基于与所述回放设备相关联的最小像素密度。例如，所述方法可以进一步包括：缓冲所述第一视频流，其中，在所述回放设备回放所述第三视频流连同所述第一视频流包括用所述第三视频流替代所述第一视频流的相应部分，在所述回放设备上渲染所述结果，确定所述第三视频流存在问题，以及在确定所述第三视频流存在问题时，在所述回放设备上渲染被缓冲的第一视频流。

所述回放设备是头戴显示器(HMD)，并且在所述回放设备回放所述第三视频流连同所述第一视频流包括：在所述HMD的左眼显示器或右眼显示器中的一个显示器上渲染所述第一视频流，以及在所述HMD的所述左眼显示器或所述右眼显示器中的另一个显示器上渲染所述第三视频流。所述至少两个第二视频流具有在不同时间戳被编码的相关联的关键帧。

例如，所述方法可以进一步包括：判定所述至少两个第二视频流中的每个视频流是否在所述回放设备的可视阈值内；在确定所述至少两个第二视频流在所述回放设备的所述可视阈值内时，对所述至少两个第二视频流进行解码；以及在确定所述至少两个第二视频流不在所述回放设备的所述可视阈值内时，跳过对所述至少两个第二视频流的解码。

在另一个总体方面，一种方法包括：以第一质量对视频的帧进行编码；以第二质量对所述视频的所述帧的至少两部分进行编码，所述第二质量与所述第一质量相比是更高的质量；存储所述视频的所述帧；以及存储所述视频的所述帧的所述至少两部分。