[发明专利]一种立体视频对产生方法及装置

说明书

技术领域

本发明涉及一种多媒体通信领域，具体涉及一种立体视频对产生方法及装置。

背景技术

三维视频(3D video)序列包括多路(通常为2路)视频序列(对应于纹理信息)、对应的深度(depth)序列(对应于深度信息)，通常也被称为MVD(multi-view video plus depth)格式；每一路视频序列，通常由一个摄像机拍摄获得，所以称为一个摄像机视点视频序列，其对应的视点称为摄像机视点(camera view)。三维视频序列也包含每个视点的摄像机参数等信息。三维视频通过视点合成(view synthesis)技术产生一个虚拟视点视频序列，其对应的视点称为虚拟视点(virtual view)。传统的双目立体视频(stereoscopic video)仅由两个固定视点(即左视点和右视点)的视频序列构成，也称为一个立体视频对(stereos pair)。由双目摄像机获得的立体视频对可能存在两视图像视差过大的问题。观看这样的立体视频对会引起较严重的视觉疲劳，或者说这样的立体视频对并不适合于双目立体观看(stereoscopic viewing)。引入虚拟视点视频序列后，可以利用立体视频对中的一个视频序列和一个合成的虚拟视点视频序列构成一个更适合双目立体观看的立体视频对。对于不同显示器(不同分辨率或不同宽度)，N个像素的视差对应于不同的深度感受。

虚拟视点视频序列通过视点合成(view synthesis)技术产生。视点合成采用基于深度和图像渲染(depth-image-based rendering，简称DIBR)技术，将一个摄像机视点图像的像素通过其对应的深度值和相应的摄像机参数(例如每个视点的焦距、坐标位置等)，投影到另一虚拟视点上，从而生成投影图像；再通过空洞填充(hole filling)、滤波(filtering)、变采样(resampling)等处理产生最终用于显示的虚拟视点视频序列。视点合成还可以基于多个摄像机视点合成一个虚拟视点的图像，即分别将多个摄像机视点的图像投影到该虚拟视点，并把投影图像融合起来，称为视点融合(view merging)，再在融合的图像上进行空洞填充、滤波、变采样等处理，获得用于显示的虚拟视点视频序列。

一个立体视频对包括两个视频序列，即左视点视频序列(用于显示给左眼观看)和右视点视频序列(用于显示给右眼观看)。为了改善立体视频对的立体感觉，通常可以采用水平平移(shifting)立体视频对图像的方法来调节显示器上呈现的视差(parallax)范围。当左视点图像(即左视点视频序列的图像)相对于右视点图像向右平移时，负视差(negative parallax)增大，正视差(positive parallax)减小；当左视图像相对于右视图像向左平移时，负视差(negative parallax)减小，正视差(positive parallax)增大。以左视点图像相对于右视点图像向右平移N个像素为例，通常的方法有，依次将左视点图像中(从左向右)第i列像素拷贝给第i+N/2列，同时将右视点图像第i列像素拷贝给第i-N/2列；或者右视点图像保持不变，左视点图像的第i列的图像拷贝给第i+N列。将左视点图像相对于右视点图像向左平移N个像素与上述方法类似。

发明内容

为克服现有技术的上述缺陷，本发明的目的在于根据显示辅助信息(包含用于显示立体视频对的立体显示器的分辨率和屏幕宽度)，对重建的三维视频序列进行处理，得到一个适合通过目标立体显示器观看的立体视频对，从而改善最终三维立体显示的视觉感受。

本发明第一技术方案是公开一种立体视频对产生方法，由显示辅助信息对三维视频序列进行处理，得到一个立体视频对；所述立体视频对在立体显示器D1上显示；

所述显示辅助信息包括摄像机视点位置信息、虚拟视点位置信息和显示端缩放系数S1；

所述摄像机视点位置信息指示三维视频序列中一个摄像机视点C的位置；

所述虚拟视点位置信息指示一个虚拟视点P1的位置；

所述显示端缩放系数S1为所述立体显示器D1的水平分辨率Res1与水平宽度W1的比值，即S1＝Res1/W1，所述水平宽度为显示器屏幕实际宽度的近似值；

所述对三维视频序列进行处理，得到一个立体视频对包括：

1)选择所述三维视频序列中所述摄像机视点C的视频序列作为所述立体视频对中的一个视频序列V1；