[发明专利]基于透视投影的实时虚拟视点生成方法

说明书

技术领域

本发明涉及立体视频处理方法，具体的讲是基于透视投影的实时虚拟视点生成方法。

背景技术

在视频显示领域中，与二维视频显示相比，立体视频显示与人的视觉特征更加匹配，使得人们在观看图像时富有立体感和沉浸感。目前的立体电视主要分为眼镜式和裸眼式两种，其中眼镜式立体显示主要以主动快门式和被动偏光式为主，裸眼式主要分为视差屏障式、柱状透镜式等。眼镜式立体技术主要集中在消费级市场，如立体电视、立体投影等，裸眼式立体技术由于技术及成本因素，目前主要于机场、展览等商用显示及小尺寸消费电子产品。裸眼式立体显示技术因为不需要额外的设备即可让观众欣赏到立体效果，因而受到了消费者的普遍期待和各国厂家的重视，正成为下一代立体显示的发展方向。

现有大尺寸裸眼立体电视通常为多视点自由立体显示方式，这就要求视频信号源为多视点立体视频。多视点立体视频是指由位置不同的多个摄像机在相同时刻对相同场景进行拍摄时产生的多个视图的序列，一个视图对应一个视点。目前立体拍摄主要采用双目摄像机实现立体摄制，这对摄像设备和摄像技术要求较高，国内外已有多家公司推出立体摄像机和立体照相机产品。而针对多视点视频采集还存在一定的技术瓶颈，目前多视点视频通常采用立体建模制作或双目立体视频转多目立体视频方式产生。为了让现有双目立体视频可在多视点裸眼立体电视上进行显示，如何将双目立体视频实时转换为多目立体视频正成为裸眼立体领域的一个研究热点。

发明内容

本发明提供了一种基于透视投影的实时虚拟视点生成方法，可用于多视点立体视频的实时生成，满足裸眼立体电视播放要求，保证双目立体视频转多目立体视频的实时性，提高转换的多视点视频的主观质量和舒适度。

本发明基于透视投影的实时虚拟视点生成方法，包括：

a．对双目立体视频进行解码得到双目立体视频序列，并依次将所述的双目立体视频序列送入缓冲区；

b．对缓冲区的双目立体视频序列进行立体匹配，计算左右图像的视差关系，统计左右图像正视差最大值；

c．根据步骤b计算的双目立体视频序列的视差关系和左右图像正视差最大值，确定虚拟视点的插入位置及三维透视投影的偏移角度；

d．根据步骤c计算的偏移角度分别对左右图像进行透视投影，得到对应的多点虚拟视点图像；

e．根据光栅式裸眼3D的显示特性对多视点图像进行RGB重排列，使得多点虚拟视点的3D图像合成与光栅排列相一致。

通过对双目立体图像进行立体匹配计算双目立体图像的左右视差关系，可自适应确定虚拟视点插入的位置及投影透视的偏移角度，得到对应的虚拟视点图像，这样不仅能够保证双目立体视频转多目立体视频的实时性，还能够大幅度提高转换的多视点视频的主观质量和舒适度。

具体的，步骤a中所述的对双目立体视频进行解码包括对左右图像进行分离，如过图像在水平或垂直方向上有分辨率损失，对分辨率有损失的方向按照正常宽高比进行还原。记录单路图像的分辨率为h×v，其中h为水平方向上的分辨率，v为垂直方向上的分辨率，依次将解码的双目立体图像送入缓冲区进行处理。

具体的，步骤b中所述的立体匹配，是基于区域的匹配方法对该对双目立体视频序列进行立体匹配。为加快计算的速度，可针对图像特定区域进行立体匹配。立体匹配的方法还有很多中，例如基于特征点的匹配等，这里采用基于区域的匹配方法有利于保证双目立体图像视差的准确性。

一种具体实现步骤b中所述基于区域的匹配方法包括：

b1．将左路或右路的像素点通过立体匹配找到该像素点在另一路图像的匹配点，采用模板进行像素匹配；

b2．通过比较左右视差图像在各个位置的相关系数，相关性最大的值为最佳匹配点，并根据所述最佳匹配点求得左右图像匹配的像素点；

b3．根据左右图像对应匹配的像素点水平方向值的大小，判断出像素点与屏幕的相对立体关系；

b4．统计左右图像像素点正视差最大值。

除了这种具体实现方法外，还可以通过步骤b3所计算出的当前像素的视差关系，得到当前像素的视差值，并对左右图像所有像素的视差值进行统计，得到正视差的最大值。

具体的，步骤c中计算虚拟视点的插入位置及三维透视投影的偏移角度包括：

计算在已有的双目立体图像内侧插入的虚拟视点个数；

计算在已有的双目立体图像外侧插入的虚拟视点个数；

计算相邻的左右两路图像间的视差；

计算相邻的左右两路图像进行透视投影的偏移角度。