[发明专利]一种基于深度学习预测用户视场的方法

权利要求书

1.一种基于深度学习预测用户视场的方法，其特征在于，包括如下步骤：

S1，将全景视频从球面映射到球内接立方体的6个面上，从二维全景图得到所述6个面对应的视频；分别生成所述6个面对应的视频的动态特征视频帧和显著度视频帧，并对生成的动态特征视频帧和显著度视频帧进行分块和编号；

S2，根据全景视频的动态特征对视频信息进行判别，判断视频内容视点切换剧烈程度w；

S3，利用VR头盔记录用户观看全景视频时的头部转向，处理数据使每个视频帧对应一组头动数据，并计算得到相邻视频帧间转头角速度；

S4，通过w值的大小选择对应不同参数的神经网络进行预测，以用户已浏览过的m帧全景视频帧的显著度视频帧、动态特征视频帧和头动数据作为输入，用神经网络预测得到用户看到后n帧视频帧每个视频块的概率，经处理后可得到与视场重合的视频块编号；

S5，得到预测结果后，渲染和传输预测得到的编号对应的视频块，同时进行下一次的预测与渲染准备，再重复步骤S3-S5，直到预测的帧为视频的最后n帧。

2.根据权利要求1所述的一种基于深度学习预测用户视场的方法，其特征在于，所述步骤S1中生成动态特征序列图时，先用光流算法分别生成所述6个面对应的视频的动态特征序列图，再利用立方体到二维平面的坐标转换关系合成全景动态特征序列图。

3.根据权利要求2所述的一种基于深度学习预测用户视场的方法，其特征在于，所述步骤S2的具体过程为：

首先，记光流矢量的数目为s，光流矢量的平均长度为l，视点切换剧烈程度w＝f(s,l)，根据步骤S1中得到的全景动态特征序列图可计算得w值；然后，对视频内容视点切换剧烈程度进行判断，根据实验结果设置阈值t，由w值的大小将全景视频分为a、b两级，其中a级为视频内容视点切换剧烈，b级为视频内容视点切换较缓慢。

4.根据权利要求3所述的一种基于深度学习预测用户视场的方法，其特征在于，所述步骤S4中，通过w值的大小选择对应不同参数的神经网络，若wt，视频内容视点切换剧烈，即为a级视频，视频的动态性和显著度特征共同影响用户的行为，需要较多帧的信息来预测用户视场；若wt，视频内容视点切换较缓慢，即为b级视频，视频的显著度特征此时起主导作用，只需要较少帧的信息即可预测用户视场。