[发明专利]平面图像序列的深度图序列生成方法及装置

说明书

技术领域

本发明属于多媒体图像处理技术领域，特别涉及一种平面图像序列转立体图像序列的深度图序列生成方法及装置。

背景技术

在日常生活中，人们能够感受到立体视觉。这是因为人类的眼睛是双向并排，两眼瞳孔有着几厘米左右的间距，使得左眼和右眼看到的影像有着些许差异，这个差异被称作视差。通过影像在两眼间形成的视差，大脑就能够判断物体的远近并产生立体视觉。为了能在显示设备上重现这样的立体视觉，需要设法重现视差，让双眼接收到不同的影像。在这个基础上，立体显示设备正在逐渐推广。

但是，一个阻碍立体显示设备推广的关键问题是立体视频的缺乏。如果只有立体显示终端而缺乏对应的立体视频片源，那么立体显示终端就很难得到推广普及，这会限制立体显示技术的发展，也会阻碍立体视频的拍摄制作，从而延缓立体显示取代传统平面显示的进程。

解决立体视频片源缺乏问题有两个途径。第一个途径是直接采用立体摄像机拍摄视频。这种方法需要一套专业的立体视频拍摄设备和完整的生产流水线，成本高昂，这是很多企业难以承受的。此外，立体摄像机对校准有着严格的要求，对拍摄环境及摄像机的运动也有一定的限制，这些都在很大程度上限制了直接采用立体摄像机拍摄视频这种方式的普及。第二个途径是利用现有平面视频的丰富资源，然后在后期制作时将平面视频转换为立体视频。这种方法的成本比直接用立体摄像机拍摄低很多，而且可以将现有的任何一组平面视频转换为对应的立体视频。考虑到现有平面视频的大量资源，如能将其转换为立体视频，不仅可以获得更好的观赏体验，还可以推进以立体电视、立体影院为代表的立体显示技术的推广普及。

平面视频转换为立体视频的关键在于怎样得到平面视频中物体的深度值。深度是物体距离观察者位置的直观描述，一般用8位二进制数表示，对应十进制数的范围是0-255。其中，深度值越大表示物体越接近观察者，深度值为0则表示当前物体是背景。

由于平面视频中深度信息的缺乏，直接计算深度图像难度很大。目前获取平面图像序列深度的一般方法是通过人机交互，利用图形分割算法，人工的给图像中的物体赋予深度值。然而，通过人工赋值的方法获得每一帧图像的深度，工作量较大，成本较高。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的一个目的在于提出一种平面图像序列的深度图序列生成方法，该方法可以大大降低深度图序列生成的工作量和成本，而且深度图序列的精度高，进而达到提高立体视频合成效果的目的。

本发明的另一目的在于提出一种平面图像序列的深度图序列生成装置，该装置结构简单，成本低。

为了实现上述目的，本发明第一方面实施例的平面图像序列的深度图序列生成方法，包括以下步骤：A：从所述平面图像序列中选择第一图像和第二图像；B：分别获得所述第一图像的第一深度图像和所述第二图像的第二深度图像；C：分别从所述第一图像开始并朝向所述第二图像的图像序列方向获取所述平面图像序列的第一运动估计结果集合，及从所述第二图像开始并朝向所述第一图像的图像序列方向获取所述平面图像序列的第二运动估计结果集合；D：根据所述第一运动估计结果集合和所述第二运动估计结果集合确定位于所述第一图像和所述第二图像之间的图像序列的每一相邻两帧图像之间的匹配点集；以及E：根据所述第一深度图像或所述第二深度图像、以及所述匹配点集得到所述深度图序列。

根据本发明实施例的平面图像序列的深度图序列生成方法，只需通过图像分割算法或是深度相机采集等办法在少数关键帧上，如第一图像和第二图像上进行深度赋值，得到少量关键帧(第一图像和第二图像)的深度图像(第一深度图像和第二深度图像)，接着该方法将关键帧的深度值通过匹配点集逐一扩展给全部非关键帧(位于第一图像和第二图像之间的图像序列)，进而得到完整的深度图像序列。这样，不仅可以大大降低平面图像序列转立体视频序列的深度图序列生成的工作量和成本，而且通过该方法得到的深度图序列的精度高，进而提高立体视频的合成效果。

另外，根据本发明的平面图像序列的深度图序列生成方法还可以具有如下附加的技术特征：

在本发明的一个实施例中，分别从所述平面图像序列中选择第一时刻的第一图像和第二时刻的第二图像，其中，所述第一时刻早于所述第二时刻。