[发明专利]一种面向VR视频的视角切换方法、装置、设备及介质

说明书

本申请提供一种面向VR视频的视角切换方法、装置、电子设备及存储介质。其中方法包括：确定VR视频设备对应的第一视角采样频率，所述视角采样频率大于每秒一次；在同一个时间切片中，按照所述第一视角采样频率实时检测用户视角是否发生切换；当检测到所述用户视角发生切换时，获取切换后用户视角对应的视图矩形块。由于现有技术中超过每秒一次的视角采样是毫无意义的，使得VR视频的视角切换延时无法进一步降低，本申请通过改进突破了每秒一次的视角采样的限制，实时地下载拼接视角区域画面所需的视图矩形块，降低了VR视频的视角切换延时，提高了用户体验。

技术领域

本申请涉及视频处理技术领域，具体涉及一种面向VR视频的视角切换方法、装置、电子设备及存储介质。

背景技术

随着虚拟现实(VR)、5G、移动终端等技术的不断发展，VR视频应用呈现了爆发式增长。VR视频往往拥有超高的分辨率(例如8K，7680*3840)和帧率(例如每秒60帧)，因此数据量极其庞大，对用户带宽、计算效率和最终体验等方面都提出了前所未有的挑战。基于视角的VR系统是应对这些挑战的一种良好方案，基本思路是仅传输和处理用户当前观看视角的视频画面区域。而其中基于Tile编码的方案是最流行的方案之一，目前VR视频国际标准MPEG OMAF正是采用了这种方案，但现有的大多数视角VR系统并未适配 OMAF标准，在通用性和部署性上存在欠缺。全向媒体格式(Omnidirectional MediA Format，OMAF)是由运动图像专家组(Moving Picture Expert Group， MPEG)所打造的360度媒体内容标准。

在基于视角的VR系统中，当用户移动视角时，需要等待新视角画面数据的下载、解码和渲染，存在一定延时。如果系统没有对视角切换所涉及的模块进行优化，就会导致过高的延时，轻则带来不好的用户体验，重则引发生理上的不适。在OMAF标准中，尽管将视角切换延时作为了一种重要的评估对象，但标准本身并未对此进行有效的优化，主要依赖于标准的实现对其进行改进。然而，目前已有的一些OMAF标准实现也并未在视角切换延时上有显著的改良，难以为用户提供良好的VR体验，需要进一步优化。此外，还有一些基于视角预测的方案，能够降低视角切换延时，但这些方法往往较为复杂、不能直接在用户终端完成预测，需要引入额外的边缘计算服务器，这大大提高了VR 系统的部署成本。

发明内容

本申请的目的是提供一种面向VR视频的视角切换方法、装置、电子设备及存储介质，以降低VR视频的视角切换延时。

本申请第一方面提供一种面向VR视频的视角切换方法，包括：

确定VR视频设备对应的第一视角采样频率，所述视角采样频率大于每秒一次；

在同一个时间切片中，按照所述第一视角采样频率实时检测用户视角是否发生切换；

当检测到所述用户视角发生切换时，获取切换后用户视角对应的视图矩形块。

一种可能的实现方式中，所述按照所述视角采样频率实时检测用户视角是否发生切换，包括：

按照所述第一视角采样频率获取相邻两个用户视角分别对应的视图矩形块的序号集合；

若相邻两个用户视角分别对应的视图矩形块的序号集合中的序号相同，则确定用户视角未发生切换，否则确定用户视角发生了切换。

一种可能的实现方式中，所述获取切换后用户视角对应的视图矩形块，包括：

判断切换后用户视角对应的视图矩形块的序号集合与VR视频设备中当前已存在的视图矩形块的序号集合之间是否存在交集；

若不存在交集，则下载切换后用户视角对应的全部视图矩形块；

若存在交集，则只下载切换后用户视角对应的交集之外的视图矩形块。

一种可能的实现方式中，所述获取切换后用户视角对应的视图矩形块之后，所述方法还包括：