[发明专利]一种基于感知敏感值的360度视频流传输方法及系统

权利要求书

1.一种基于感知敏感值的360度视频流传输方法，其特征在于，包括以下步骤：

步骤1、对视频内容提供端提供的360度视频进行时域上的切分，得到同等时间长度的视频片段；

步骤2、设置i＝1，初始化系统参数；

步骤3、对视频片段的首帧进行目标检测；

步骤4、视角预测模块根据历史用户视角轨迹预测用户下一时刻视角；

步骤5、视频空间分片模块根据感知敏感值(Perception Sensitivity Value，PSV)对每个视频块进行空间分片；

步骤6、QoE监测模块计算用户当前时刻的QoE，用户QoE为用户视域内的视频质量减去视频质量改变；

步骤7、计算端到端时延和监控任务精度；

步骤8、分片码率自适应模块对各空间分片进行自适应码率分配；

步骤9、监控播放器模块接收来自分片码率自适应模块计算的各个空间分片的码率分配，在监控播放器渲染并显示用户视角所需的360度视频；

步骤10、设置i＝i+1；

步骤11、判断i是否为最后一个视频块；若是，则结束；否则，跳至所述步骤3。

2.如权利要求1所述的基于感知敏感值的360度视频流传输方法，其特征在于，所述步骤3，目标检测算法包括SSD、YOLO、Fast RCNN可以在视频帧上检测出目标并标出目标检测框的算法。

3.如权利要求1所述的基于感知敏感值的360度视频流传输方法，其特征在于，所述步骤4，视角预测模块采用基于脊回归的在线算法，利用前T个时刻的历史视角预测下一时刻的用户视角，其中T是时间周期的下标。

4.如权利要求1所述的基于感知敏感值的360度视频流传输方法，其特征在于，所述步骤5，包括以下步骤：

步骤5.1、对每个视频块进行细粒度M*N网格状空间分片，得到的每一个细粒度空间分片称为原子分片，原子分片为可独立编码、解码的最小单元；

步骤5.2、计算每个原子分片的感知敏感值σ；

步骤5.3、原子分片聚合成有效分片；原子分片的聚合方法采取自底向上的聚合，以目标检测框的中心点所在的原子分片作为种子，进行区域生长，得到有效分片；有效分片为一个或若干个原子分片构成的连通集；有效分片为最终空间分片结果。

5.如权利要求4所述的基于感知敏感值的360度视频流传输方法，其特征在于，所述步骤5.2，感知敏感值σ＝σ₁+σ₂+σ₃；其中σ₁为原子分片与目标检测框的交并比，σ₂为原子分片与所述步骤4得到的预测用户视角的交并比，σ₃为目标相对于用户视点的相对移动速度，其中目标的移动采用卡尔曼滤波对目标的运动进行估计。

6.如权利要求1所述的基于感知敏感值的360度视频流传输方法，其特征在于，所述步骤6，用户视域内的视频质量为用户视域内的有效分片的平均码率；视频质量改变包括时域视频质量改变和空域视频质量改变，时域视频质量改变为当前视频块的空间分片和上一时刻的空间分片的平均码率改变，空域视频质量改变为当前视频块的空间分片码率集合的离散方差。

7.如权利要求1所述的基于感知敏感值的360度视频流传输方法，其特征在于，所述步骤7，播放等待时间为下载当前视频块所需时间加上当前视频块的解码时间，减去下载视频块时的缓存占用和视频块时长，监控任务处理时延和监控任务精度从监控播放器实时获取。