[发明专利]一种虚拟现实VR场景的视频处理方法及相关设备

说明书

本申请实施例提供一种虚拟现实VR场景的视频处理方法及相关设备，涉及计算机图形学技术。VR场景的视频处理方法可以采用一路流对Tile流进行编码，以降低VR头戴式显示设备的FOV发生改变时，为VR头戴式显示设备传输视频流的网络侧的视频码率。该方法可以包括：服务器可以接收来自电子设备切换至第二视场角的视场角切换请求，视场角切换请求用于请求以第二视场角播放VR场景视频；服务器响应于视场角切换请求，向电子设备发送K个Tile流。其中，K个Tile流中的每个Tile流包括一路视频流，K为正整数。

技术领域

本申请实施例涉及计算机图形学技术领域，尤其涉及一种虚拟现实VR场景的视频处理方法及相关设备。

背景技术

虚拟现实(Virtual Reality，VR)技术是一种可以创建虚拟现实环境的计算机仿真技术，它可以利用计算机生成一种虚拟现实环境(或称为模拟环境)。其中，VR的基本实现方式为计算机获取到创建虚拟现实环境的数据(如，图像、声音等)，通过计算机技术将创建虚拟现实环境的数据转换为电子信号，输出设备(如，VR头戴式显示设备)接收该电子信号，则输出设备可以根据电子信号构建虚拟现实环境。

可以理解的，VR技术中，计算机可以构建出全部视角(或称为视场角)的VR环境。展示VR的输出设备(如，VR头戴式显示设备)在展示VR环境时，仅需要根据当前输出设备的视场角(Field of View，FOV)，展示出该FOV内的VR环境。

VR直播，是VR技术与直播视频的结合。VR头戴式显示设备(或简称为“VR头显”)在展示VR直播视频使用的方案为基于块(Tile)划分的流传输(Tile-Wise Streaming，TWS)方案。请参考图1，在TWS方案中，计算机(或源站)构建出全部视场角的VR直播视频，源站将VR直播视频传输至内容分发网络(CDN)，VR头戴式显示设备根据当前的视场角从CDN下载对应的FOV内的VR直播视频。其中，源站中的VR直播视频中包括：低质量全视场角画面100和多个高质量画面200。其中，低质量全视场角画面100是VR直播视频中包括全部视场角的画面，高质量画面200为高质量全视场角的画面中的一部分。例如，高质量全视场角的画面被划分为42个部分，每个部分的画面为一个高质量画面200。每个高质量画面200对应一个切片流(Tile流)，一个FOV中一般包括12-18个Tile流。具体地说，VR头戴式显示设备在展示VR直播视频时，VR头戴式显示设备需要从CDN获取低质量全视场角画面100和VR头戴式显示设备的FOV范围内的12-18个高质量画面200对应的Tile流。进一步，VR头戴式显示设备可以将12-18个Tile流中的高质量画面200进行拼接，以在低质量全视场角画面100中形成FOV范围内高质量的VR直播视频，并通过VR头戴式显示设备呈现出高质量的VR直播视频。

其中，当用户使用VR头戴式显示设备观看VR直播时，如果用户转动头部，即VR头戴式显示设备的FOV发生改变，因此，VR头戴式显示设备需要获取的FOV范围内对应的Tile流也会发生改变。则VR头戴式显示设备可以根据用户转头后的FOV对应的Tile流从源站下载对应的Tile流，并快速将用户转头后的VR头戴式显示设备的FOV内的Tile流的高质量VR直播视频呈现给用户。

一般而言，源站构建出的VR直播视频中每个Tile流都包括两路流。例如，一路为全关键帧流，一路为混合视频帧流。当VR头戴式显示设备的FOV发生改变，VR头戴式显示设备需要下载转换后的视场角中每个Tile流中的两路流进行切换，如果Tile流中关键帧较多，为VR头戴式显示设备传输视频流的网络就需要传输较大的视频码率，这样，会出现网络难以承载的现象。因此，在VR直播视频中VR头戴式显示设备的FOV发生改变时，如何保证为VR头戴式显示设备传输视频流的网络可以承载视频码率，成为亟待解决的技术问题。

发明内容

本申请提供一种虚拟现实VR场景的视频处理方法及相关设备，可以采用一路流对Tile流进行编码，以降低VR头戴式显示设备的FOV发生改变时，为VR头戴式显示设备传输视频流的网络侧的视频码率。