[发明专利]一种双目立体视频序列的深度图获取方法与系统

说明书

技术领域

本发明属于计算机图像处理领域，特别涉及一种双目立体视频序列的深度图获取方法与系统。

背景技术

随着当前社会的飞速发展，人文娱乐欣赏需求也日益增多，对于电视电影观看的要求，不仅仅是高清彩色，观影者需要更加真实的三维效果，立体视频相关研究和应用成为当前热点问题，立体视频相关的技术问题也认为亟待解决的问题。

立体视频分为传统的双目立体视频和多视点视频，双目立体视频是由两路视频序列组成，虽然能给人们带来立体效果，但效果比较呆板，必须佩戴相应的眼睛才能观看，并且视点单一，与真实生活当中的立体感受相距甚远。而多视点视频则可以适应裸眼现实的需求，可以满足人们裸眼观看视频的需求，同时，由于多视点视频的原因，可以使得人们从不同角度观看到的视频序列对不相同，进而观测到的场景角度也不相同，后者更接近真实的三维感受。

尽管多视点视频具备双目立体视频多不具备的优势，但是多视点视频的采集难度也更大，如何获取高质量的多视点视频成为一个关键研究问题。目前可以从2d视频直接转换为多视点视频，但是由于信息严重缺失，得到的多视点视频序列的深度感极差。而相对来说双目视频的采集比较简单，信息量也相对充裕，双目转多目成为一个有效的途径。

双目立体视频转多目的基本思路：首先通过双目视频获取深度信息，然后根据获取的深度图采用虚拟视点合成的方法得到多路视频序列。其中最关键的就是如何得到准确的深度信息。现阶段的主要方法就是立体匹配，通过搜索同一时刻左右两路视频对应图像间的像素点的偏移（视差）来获取深度信息，深度是与视差成反比的关系。

立体匹配算法主要分为两类，全局立体匹配算法和局部立体匹配算法，两种算法有一个共同的问题就是，对于遮挡等天然信息缺失的情况，很难解决。

发明内容

本发明所要解决的技术问题是，提供一种双目立体视频序列的深度图获取方法与系统，在保证准确性的同时降低获取过程的复杂度。

本发明的技术方案通过以下技术手段予以解决：

如图1所示，一种双目立体视频序列的深度图获取方法，包括以下步骤：

S100）预处理步骤：读入同一时间点的两幅图像，对其中的第一幅图像进行聚类处理；然后采用区域生长的方式将各个聚类转化为连通的区域，记录各个区域的平均五维坐标和区域间的相邻信息。

由于同一时间点的两幅图像具有很强的相关性，对图像的分割操作，只需左右两幅图像之一进行处理即可，另一幅图作为后续立体匹配算法的参考图，本步骤中的第一图像可以是左图也可以是右图。

S200）前景提取步骤：包括：S210)权值计算步骤：接收操作者输入的用于标记第一幅图像的前景和背景的人工标记，计算代表区域之间连通性的区域连接权值以及各区域与人工标记间相关性的标记权值；S220)图像分割步骤：将所述区域连接权值和标记权值作为输入，调用GrpahCut算法对第一幅图像进行前景部分与背景部分的分割。

S300）深度图获取步骤：以所述两幅图像中的第二幅图像作为参考图像，根据前景提取步骤的分割结果，基于局部自适应权值立体匹配算法计算前景部分的视差图，基于Rank变换立体匹配算法计算背景部分的视差图，然后将前景部分的视差图和背景部分的视差图转换为深度图。

优选地，还包括：S400）后处理步骤：对前景部分的像素点，采用以下步骤进行深度值校正：选取深度图校正窗口，并根据预处理步骤的处理结果，以将校正窗口中所有与待校正像素属于同一区域的像素点的平均深度值更新待校正像素点的深度值。

优选地，所述预处理步骤中所述聚类处理包括以下步骤：

S110）对待处理的图像进行去噪处理；

S120）采用K-means聚类算法，根据五维空间坐标的相似程度对所述第一幅图像进行聚类，将像素点归于与其五维空间距离最小的聚类中心所属的类别。

优选地，所述步骤S210）包括以下步骤：