[发明专利]处理视频流的方法、内容消费装置以及计算机可读介质

说明书

本公开提供了在内容消费装置处理视频流的方法、内容消费装置、在内容分发系统处理视频流的方法以及非暂时性计算机可读介质，其使得能够显示比内容消费装置的显示格式更大(即，在至少一个维度上具有更多像素)的场景，例如360°场景。组成的场景视图由内容消费装置(例如广播)单独地接收，并且在内容消费装置处被组合(例如，拼接在一起)以输出适合显示格式的场景的一部分。所要显示的场景的该部分(以及因此所需的组成流)由信号确定，例如来自用户的导航输入，使用户能够在场景中导航。例如，通过基于产生基于信号的、适合显示格式的视图所需的场景流而接收有限数量的场景流，可以降低在场景内进行观看和导航的带宽要求。

技术领域

本公开涉及对可组合以显示场景的某些部分的视频流的处理，特别是对可拼接成对应于比单个流的单个视场更大的视场的场景的视频流的处理，例如360°环绕视图或360°x180°圆顶视图。

背景技术

从单个摄像机视图创建大型视场的技术是已知的，例如拼接软件将多达32个摄像机视图拼接在一起(VRWorks 360Video SDK，参见https://blogs.nvidia.com/blog/2016/07/25/360-degree-video-stitching/，在此通过引用并入)，或将视图拼接成单个4K视频流内的半圆顶以在360°模式下以虚拟现实(Virtual Reality,VR)头盔进行显示(视频拼接，https://www.orah.co/news/how-360-video-works/，在此通过引用并入)。这种类型的拼接场景通常涉及需要大量带宽来传输的大型高分辨率帧，特别是如果流要被实时“直播(live)”地进行传输的话。这限制了可以观看这种拼接场景的环境和设备。人们期望能够在目前不可能的环境中观看这种“环绕”场景。

附图说明

下面通过示例并参考附图描述了一些具体实施例，以示出本公开的各方面和原理，其中：

图1示出了内容分发系统；

图2A至图2C示出了分成场景视频流的环绕场景；

图2D至图2F示出了标识每个组成流的场景视频流的相应的数据结构；

图3示出了响应于导航信号对场景视频流进行组合的方法；

图4示出了内容分发系统中的内容消费装置的实现方式；

图5示出了分发场景流的方法；以及

图6示出了计算平台。

发明内容

总的来说，本公开的各方面提供了方法和内容消费装置，其使得能够显示比内容消费装置的显示格式更大(即，在至少一个维度上具有更多像素)的场景，例如360°场景。通过内容消费装置(例如作为广播)分别接收组成场景视图，并且在内容消费装置处将组成场景视图进行组合(例如，拼接在一起)，以输出适合显示格式的场景的一部分。通过信号(例如来自用户的导航输入)确定所要显示的场景的一部分(以及因此所需的组成流)，使用户能够在场景中导航。例如，通过基于产生适合显示格式的视图所需的场景流而接收有限数量的场景流，可以降低在场景内进行观看和导航的带宽要求。

在一些方面，公开了一种在内容消费装置处理视频流的方法，例如在机顶盒、智能电视、台式或便携式计算机、通用计算装置、虚拟或增强现实装置、头戴式显示装置、虚拟现实头盔或虚拟现实护目镜等。该方法包括接收多个视频流中的两个或更多个视频流。多个视频流中的每个视频流对应于场景的相应的流部分，并且多个视频流可组合成对应于场景的组合流。例如，场景可包括跨越场景的视角或视场的一行或两行或更多行的流部分。因此，组合场景流的视场以提供场景的视场。