[发明专利]一种基于深度学习预测用户视场的方法

摘要

本发明公开了一种基于深度学习预测用户视场的方法。步骤为：(1)将全景视频从球面映射到球内接立方体的6个面上，得到6个面对应的视频，分别生成视频的动态特征和显著度序列图，并进行分块和编号；(2)根据动态特征判断视频内容视点切换剧烈程度w；(3)用头盔记录用户的头部转向并对其进行处理；(4)通过w值的大小选择预测网络，用网络预测得到用户后n帧视频帧的视场，处理可得到与视场重合的视频块编号；(5)渲染和传输预测得到的视频块，重复步骤直到预测的为最后n帧。本发明的方法减小了全景图畸变对于输入的视频特征的影响，同时加入了视频信息的预判分级，能以较高的准确度预测用户在VR HMD中观看视频时的视场。

主权项

1.一种基于深度学习预测用户视场的方法，其特征在于，包括如下步骤：S1，将全景视频从球面映射到球内接立方体的6个面上，从二维全景图得到所述6个面对应的视频；分别生成所述6个面对应的视频的动态特征序列图和显著度序列图，并对生成的动态特征序列图和显著度序列图进行分块和编号；S2，根据全景视频的动态特征对视频信息进行判别，判断视频内容视点切换剧烈程度w；S3，利用VR头盔记录用户观看全景视频时的头部转向，处理数据使每个视频帧对应一组头动数据，并计算得到转头角速度；S4，通过w值的大小选择预测网络，以用户已浏览过的m帧全景视频帧的显著度视频帧、动态视频帧和头动数据作为输入，用神经网络预测得到用户看到后n帧视频帧每个视频块的概率，经处理后可得到与视场重合的视频块编号；S5，得到预测结果后，渲染和传输预测得到的编号对应的视频块，同时进行下一次的预测与渲染准备，再重复步骤S3‑S5，直到预测的帧为视频的最后n帧。