[发明专利]用于360度视频回放的空间增强的自适应比特率直播流送的方法和装置

说明书

公开了用于实现虚拟现实或者360度视频的直播流送的空间增强的直播流送体验的装置和方法。将直播流送视频信号编码为不同分辨率下的多个流。将与整个360度视图内的视场相对应的高分辨率视频流的一部分与低分辨率视频流合并。所产生的视频流被称为空间自适应视频流。生成多个空间自适应视频流以跨整个360度来提供高分辨率的视场。当查看者从不同方向观看时，视频播放器根据所述查看者正观看的所述方向来回放所述空间自适应视频流中的一个空间自适应视频流。

技术领域

本文所公开的主题涉及一种用于实现虚拟现实或者360度视频直播流送的空间增强的直播流送体验的方法。更具体地，公开了方法和装置，用于提供具有多个流的360度视频直播流送——其中，视频中的在空间上不同的位置是用不同比特率(分辨率)来编码的——并且自适应地选择流——其中，视频数据的高空间分辨率编码的区与查看者的视场保持一致，并且其中，视频数据的低分辨率编码的区在查看者的视场之外。

背景技术

视频流送允许经由互联网来将视频内容递送至视频播放器。视频内容是由内容提供者生成以供分发给视频消费者的视频信号。可以按照未压缩的文件格式(诸如，串行数字接口(SDI)格式)或者压缩格式(诸如，动态图像专家组(MPEG)文件格式或者传输流(TS)文件格式)来提供视频信号。将视频信号发送至编码器，该编码器将文件转换成直播流送信号。直播流送信号优选地是可以通过互联网使用标准超文本传输协议(HTTP)来传送的分段数据流。直播流送信号可以包括多个流，其中，每个流可以具有不同的数据率和/或不同的分辨率。

直播流送信号的两种常见格式包括由实施的HTTP直播流送(HLS)和由例如web浏览器(诸如，Microsoft和)实施的MPEG-基于HTTP的动态自适应比特率流 (MPEG-DASH)。除了分段数据流之外，编码器还生成清单文件。清单文件包含用于视频播放器播放分段数据流的信息，诸如，每个流的数据率和分辨率、以及提供了通过其可以获取到视频内容的地址的播放列表。以往，编码器为每个增强视频流生成了单个清单文件，其中，该清单文件与流送信号一起被分发。

直播流送信号和清单文件被存储在一个或者多个内容分发网络 (CDN)中。每个CDN都包括多个边缘服务器，其存储流送信号和清单文件直到被视频播放器请求为止。当将流送信号提供至多个CDN时，该CDN可能处于不同的地理位置，诸如，美国西海岸(WestCoast)、美国东海岸(East Coast)或者美国中西部(Midwest)。每个视频播放器可以基于其地理接近度等来选择CDN以减少传输时延。

视频播放器可以是用于接收流送信号的任何合适的电子设备，诸如，台式计算机、电视机、膝上型计算机、平板计算机、或者移动电话。用户发起在视频播放器上查看期望视频内容的请求。视频播放器包括在视频播放器上执行的视频管理软件，该视频管理软件知晓CDN 的地址并且可以将存储在CDN上的视频内容的列表提供给用户。在用户已经选择了期望视频之后，视频播放器进而请求从CDN传送视频内容。

对于传统的二维(2D)直播流送视频，视频的视点由捕获视频的相机的定向决定。在上映视频(诸如，电影或者电视节目的剧集)中，许多相机可以是可用的并且因此，多个视点可以是可用的。然而，导演在每个时刻选择单个视点并且将各个视点编辑成单个流，其中，任何时间点的动作是从导演所选的角度查看的。进一步地，2D直播流送视频意图在没有来自查看视频的用户的交互的情况下在屏幕上被动回放。接收流送视频的每个查看者都接收相同的视频和相同的回放体验。