[发明专利]联合双边滤波器的有效实施

说明书

提供了一种使用联合双边滤波器以降低计算复杂度从图像估计深度映射的集成电路和计算机实施的方法。出于此目的，访问图像的图像数据及模板深度映射的深度数据。然后，使用图像数据作为联合双边滤波器中的范围项来将联合双边滤波器应用于模板深度映射，从而获得经图像适配的深度映射作为输出。应用联合双边滤波器包括：将加权深度总和体积及权重总和体积初始化为存储器中的相应的空数据结构，执行抛雪球算法操作以填充该体积，执行切片操作来获得经图像适配的深度体积，及执行插值操作以获得图像中的每个像素的经图像适配的深度映射的经图像适配的深度值。相较于已知的使用联合双边滤波器从图像估计深度映射的方法，获得减少的计算复杂度。

技术领域

本发明涉及一种被配置为使用联合双边滤波器从图像估计深度映射(depth map)的集成电路。本发明还涉及一种用于使用联合双边滤波器从图像估计深度映射的方法，且涉及一种计算机可读介质，该计算机可读介质包括表示被布置成导致处理器系统执行该方法的指令的暂时性或非暂时性数据。

背景技术

显示设备诸如电视机、平板电脑和智能电话可以包括3D显示器，以当用户观看这样的设备上的内容时为用户提供深度感知。出于此目的，这样的3D显示器可以独立地或连同用户佩戴的眼镜一起在每只眼中为用户提供不同的图像，以便为用户提供基于立体视觉的深度感知。

3D显示器通常要求含有深度信息的内容。可以在3D内容中隐含地提供深度信息。例如，在有立体感的内容(简言之，也被称为“立体”内容)的情况下，深度信息由左图像和右图像之间的差异提供。还可以在3D内容中明确地提供深度信息。例如，在以所谓的图像+深度格式编码的3D内容中，深度信息由深度映射提供，该深度映射可以包括深度值、差距值(disparity value)和/或视差偏移值(parallactic shift value)，其中所述值中的每个指示图像中的对象朝向摄像机所具有的距离。

当前可用的大量内容(例如，电影、电视节目、图像等)是2D内容。需要将这样的内容转换到3D，以使得能够在3D显示器上对其进行3D渲染。转换到3D可以包括生成2D图像的(例如，2D视频的每个2D图像的)深度映射。通常，此过程被称为“2D到3D转换”，且可能涉及手动创建深度映射。例如，在工作站上运行的软件工具可以通过使用数字笔绘制深度映射来向专业用户提供向2D图像添加深度的可能性。也可以自动生成深度映射。例如，设备可以估计2D图像内的对象朝向摄像机所具有的距离，且基于此，生成2D图像的深度映射。

从US 8,447,141中已知自动生成深度映射的一个实施例，US8,447,141描述了一种使用单眼信息生成图像的深度映射的方法。该方法包括生成该图像的第一深度映射，该第一深度映射提供全局深度分布，且该第一深度映射可以是简单通用模板(template)，诸如，倾斜(slant)。此外，生成第二深度映射，该第二深度映射基于该第一深度映射的深度值和该图像的颜色值和/或亮度值。生成该第二深度映射可以涉及使用来自该图像的范围信息将联合双边滤波器应用于该第一深度映射。据称，结果将使对象与该全局深度分布更加不同。

实际上，US 8,447,141使用联合双边滤波器来使由深度映射所提供的通用模板适应图像的实际内容。

然而，联合双边滤波器的实施是计算复杂的。Paris等人的出版物“A fastapproximation of the bilateral filter using a signal processing approach”(International Journal of Computer Vision 81.1,2009,第24-52页)描述了联合双边滤波器的近似，据称其是较少计算复杂的。不利的是，所描述的该双边滤波器的近似仍然是相对计算复杂的，因此不太适合于消费者设备(例如，集成电路)中的具有成本效益的实施。

发明内容

本发明的目的之一是获得一种被配置为使用联合双边滤波器从图像估计深度映射的集成电路，相较于Paris等人所描述的近似，该集成电路在计算上不太复杂。