[发明专利]一种自适应立体视频传输系统和方法

说明书

本发明提出了一种开放基站计算能力的自适应立体视频传输方法。本发明从视频编解码和流媒体传输两个角度出发，阐述了一种立体视频的传输方案。流媒体服务器完成原始视频源的编码、切片和部署，支持多种立体视频编码方案。用户根据设备能力和网络状况变化请求指定要求的视频切片流。基站对接入用户的业务请求进行聚合分析，向流媒体服务器请求服务器上现有的立体视频切片，然后根据用户指定的要求生成相应的视频切片进行推送。利用基站的计算能力将立体视频切片转换为兼容用户设备、匹配网络能力的特定视频切片流，可以根据网络变化动态调整视频切片流的码率实现自适应流。本发明降低了服务器的存储和流量压力，降低了对用户终端计算能力的要求，具有良好的兼容性，可以实现多种立体视频的码率自适应传输。

1.应用领域

本发明涉及立体视频的自适应流式传输问题。

2.背景技术

随着计算机视觉、计算机图形学和视频处理技术的快速发展和相互融合，现有的传统平面视频，即二维视频业务已经不能满足人们的需求，能够为人们提供立体视觉的三维(3Dimensions，3D)视频、多角度观察的多视点视频(Multi-view Video，MVV)受到更多人的关注。

为了避免术语间的混淆，本文中多视点视频指利用位于不同视点的多个摄像机从不同视角同步拍摄同一景物得到的一组视频信号组，每个视点拍摄的都是双目视频；3D视频指某个视点的双目视频，即包含双通道视频的一组视频信号组，双通道分别对应人眼的左右眼。立体视频则是对3D视频和多视点视频的统称，结合特定的显示技术可以呈现立体显示效果。立体视频的流媒体方案不仅需要考虑传输协议和方案的设计，还要考虑到视频源的压缩存储方式和立体显示方式。本文将从视频编码和流媒体传输两个角度来阐述本方案。

视频源的压缩存储方式主要取决于视频编解码技术，并对应相应的存储格式。参考主流编解码标准H.264/AVC和下一代编解码标准H.265/HEVC以及两代标准关于立体视频提出的H.264/MVC、MVV-HEVC和3D-HEVC扩展，立体视频主要有以下几种存储格式：

a)传统双目视频，由双路平面视频组成，每一路视频信号独立编码分别对应左右眼；

b)传统视频+深度图，由传统平面视频和深度图组成，利用摄像机记录景深信息等方式生成深度图，进而引入新的编码技术提高压缩效率。

c)多视点视频，由多路双目视频组成，每一路视频对应一个视点的双目视频，因此包含多路传统平面视频和深度图。多视点视频编码引入视差预测等技术，利用视点间冗余提高压缩效率。

双目视频和传统视频+深度图都可以表示场景的立体信息，前者比较直接，双路视频直接对应左右眼；后者则是间接的表示方法，需要经过转换才能形成双目视频。多视点视频包含多路双目视频，因此可以提供立体多视点立体显示、双目立体显示和传统二维显示，数据量也更大。

立体显示是根据人眼的视觉机理，模拟视网膜成像过程，将同一场景的左右两幅图像投射到人的左右眼视网膜上，即可获得立体视觉感受。因此需要利用适当装置保证左右眼分别看到对应的视图而不发生重叠。立体视频显示技术主要分为眼镜式立体显示(如偏振光眼镜式立体显示)和裸眼式立体显示(如视差障栅裸眼式立体显示)等。

从传输角度考虑，立体视频在数据量上远超传统平面视频，传输内容从单路单目视频变为一路或多路双目视频，带宽资源的需求极大。传统双目视频的方案，数据量是传统平面视频的两倍；传统视频+深度的方案，对终端运算能力要求极高。本文设计的方案是在基站完成视频转码，因此传输内容仍是传统双目视频，数据量依然是传统平面视频的两倍。多视点视频数据量更大，依靠现有网络的承载能力是远远不够的。

3.发明内容及特征

本发明涉及立体视频的自适应流式传输问题。