[发明专利]自由视点视频导播方法及系统

说明书

本发明提出一种自由视点视频导播方法，包括以下步骤：S1：采集多视点视频；S2：对采集到的所述多视点视频进行匹配处理，得到各相邻视点与其对应视差图形成的“视点+视差图”视频；S3：根据用户的视点位置有选择地向用户传输所述“视点+视差图”视频；S4：依据所述“视点+视差图”视频，合成虚拟视点视频。基于上述自由视点视频导播方法，本发明还提出一种自由视点视频导播系统。本发明的自由视点视频导播方法及系统，通过相邻视点与其对应视差图形成的“视点+视差图”视频，能够合成任意视点的虚拟视点视频，从而能够向用户提供自由可选的观看视点视频。

技术领域

本发明涉及计算机视觉领域，特别涉及虚拟视点的合成方法，以及一种基于虚拟视点合成的交互性自由视点视频导播方法及系统。

背景技术

传统的影视以及广播电视中，观众只能被动的接受拍摄者所拍摄或者导播员所导播的镜头，而且在视角或者镜头的切换过程中存在视点位置和视频画面的跳跃，导致观众缺乏观看的临场感和体验感。随着近年来多媒体显示技术的快速发展，尤其是多媒体终端处理能力的提升，多媒体信息采集设备的采集质量的提升，以及多种多样显示设备的发展，自由视点视频技术应运而生，向观众提供自由可选的观看视点成为一种需求。

舞台场景是最典型的广播电视场景之一。为实现向观众提供多方位、多方向观看体验的目的，舞台场景通常需采用如图1所示的相机拓扑结构进行拍摄。在多视点视频的传输过程中，所需带宽为单一视点视频传输的N倍，N是拍摄相机的数目。相机数目越多，越能够向观众提供更加平滑的视点切换。增加相机的数目提高了对传输带宽的需求，同时提高了采集系统的成本。此外，增加相机的数目也会增大视频录制时的压缩存储压力。自由视点视频需要保留场景不同视角的透视图像信息的正确性，采集到的多个视角的视频不能够进行融合。同时向观众传输N个点的视频增大了网络传输的压力，所需网络带宽为传输单一视点视频的N倍，随着视点数目增多，自由视点传输变成了不可能。

发明内容

本发明的目的是为了解决现有技术中的自由视点视频传输的问题，提出一种自由视点视频导播方法及系统。

本发明的自由视点视频导播方法，包括以下步骤：S1：采集多视点视频；S2：对采集到的所述多视点视频进行匹配处理，得到各相邻视点与其对应视差图形成的“视点+视差图”视频；S3：根据用户的视点位置有选择地向用户传输所述“视点+视差图”视频；S4：依据所述“视点+视差图”视频，合成虚拟视点视频。

选优地，所述步骤S1中，通过宽基线稀疏相机阵列采集多视点视频。

选优地，所述步骤S2中，首先通过对采集到的所述多视点视频进行基于光流的宽基线多视点匹配处理，得到各相邻视点的视差图，然后再将所述多视点视频转换为“视点+视差图”的视频格式。

选优地，所述步骤S3中，根据客户端反馈的视点位置，向用户有选择地传输与所述视点位置相邻的“视点+视差图”视频。

选优地，所述步骤S4中，通过“卷绕”的方法，依据所述“视点+视差图”视频合成虚拟视点视频。

本发明还提出一种自由视点视频导播系统，包括：多视点采集装置，同步采集多视点视频；匹配装置，对采集到的所述多视点视频进行匹配处理，得到各相邻视点与其对应视差图形成的“视点+视差图”视频；合成装置，依据所述“视点+视差图”视频合成虚拟视点视频。

选优地，所述多视点采集装置包括：会聚式相机阵列，采集多视点视频；外同步控制器，控制多相机设备的同步，使得通过所述会聚式相机阵列采集的多视点视频信号一致；视频压缩器，对采集到的所述多视点视频进行压缩处理；视频存储服务器，对所述压缩处理后的多视点视频进行存储。

选优地，所述匹配装置中含有基于光流的宽基线多视点匹配方法程序，所述方法程序能够被执行，用于通过采集到的多视点视频得到各相邻视点的视差图。