[发明专利]一种基于深度学习预测用户视场的方法

说明书

本发明公开了一种基于深度学习预测用户视场的方法。步骤为：(1)将全景视频从球面映射到球内接立方体的6个面上，得到6个面对应的视频，分别生成视频的动态特征和显著度序列图，并进行分块和编号；(2)根据动态特征判断视频内容视点切换剧烈程度w；(3)用头盔记录用户的头部转向并对其进行处理；(4)通过w值的大小选择预测网络，用网络预测得到用户后n帧视频帧的视场，处理可得到与视场重合的视频块编号；(5)渲染和传输预测得到的视频块，重复步骤直到预测的为最后n帧。本发明的方法减小了全景图畸变对于输入的视频特征的影响，同时加入了视频信息的预判分级，能以较高的准确度预测用户在VR HMD中观看视频时的视场。

技术领域

本发明涉及计算机视觉和深度学习领域，特别涉及一种基于深度学习预测用户视场的方法。

背景技术

目前VR产业已经出现了很多创新的应用，VR也在逐渐向手机等移动端进军，但VR流畅播放所要求的高带宽和低延迟等问题一直没有被解决。人体知觉要求视觉的平稳准确移动，因此不流畅的播放和较高的延时可能导致VR用户出现恶心、头晕等症状，严重地影响了用户的沉浸式体验。在VR视频渲染传输的过程中加入视场预测可以减少传输的数据量，从而减少了渲染和传输的时间，可有效地减小传输延迟。

LSTM(Long Short Term Memory)网络是循环神经网络(RNN)的一种特殊类型，它可以解决传统神经网络无记忆的问题，学习到长期依赖信息，它在内部保留了对输入信息的记忆，可以更好的执行分类任务，在视频信息的处理和预测问题上有很大的优势。

光流和显著度包括了视频中的重要特征，这些特征对用户在HMD中的观看行为有较大的影响。当视频内容视点切换剧烈时，视频的动态性和显著度特征共同影响用户的行为，预测用户视场需要更多视频信息；当视频内容视点切换较缓慢时，视频的显著度特征对用户的行为起主导作用，较少的视频特征即可预测用户视场。此外，等角映射等使全景图中物体的畸变非常明显，因此也影响了得到的视频特征的准确性，这对于视场预测是一个尴尬的问题。

发明内容

鉴于以上情况，本发明结合深度学习中的神经网络和一些计算机视觉算法，提出了基于深度学习预测VR HMD(Head Mount Display)中用户视场的方法。

本发明采用的技术方案为：

一种基于深度学习预测用户视场的方法，包括如下步骤：

S1，将全景视频从球面映射到球内接立方体的6个面上，从二维全景图得到所述6个面对应的视频；分别生成所述6个面对应的视频的动态特征序列图和显著度序列图，并对生成的动态特征序列图和显著度序列图进行分块和编号；

S2，根据全景视频的动态特征对视频信息进行判别，判断视频内容视点切换剧烈程度w；

S3，利用VR头盔记录用户观看全景视频时的头部转向，对数据进行校准后处理，使每个视频帧对应一组头动数据，并计算得到转头角速度；

S4，用户在VR HMD中的视场建模为一个球面上的圆，圆心由用户头的转向确定；通过w值的大小选择预测网络，以用户已浏览过的m帧全景视频帧的显著度视频帧、动态视频帧和头动数据作为输入，用神经网络预测得到用户看到后n帧视频帧每个视频块的概率，经处理后可得到与视场重合的视频块编号；

S5，得到预测结果后，渲染和传输预测得到的编号对应的视频块，同时进行下一次的预测与渲染准备，再重复步骤S3-S5，直到预测的帧为视频的最后n帧。

所述步骤S1中，生成动态特征序列图时先用光流算法分别生成所述6个面对应的视频的动态特征序列图，再利用立方体到二维平面的坐标转换关系合成全景动态特征序列图。