[发明专利]浅景深渲染中语义分割的稳健用途

说明书

本公开涉及浅景深渲染中语义分割的稳健用途。本公开涉及用于在图像处理技术例如浅景深(SDOF)渲染中稳健使用语义分割信息的技术。语义分割可被定义为在图像上创建掩模的过程，其中像素被分割成预定义的一组语义类别。分割可以是二进制的(例如，“人物像素”或“非人物像素”)或多类(例如，可将像素标记为：“人物”、“狗”、“猫”等)。随着语义分割技术在准确性和采用方面的增加，开发利用此类分割和开发用于将分割信息整合到现有计算机视觉应用诸如合成SDOF渲染中的柔性技术的方法变得越来越重要，以在广泛的图像捕获场景中产生改善的结果。在一些实施方案中，可以对相机设备利用语义分割信息的初始深度、视差和/或模糊估计采用精修操作。

技术领域

本公开整体涉及数字成像领域。更具体地，但并非限制性地，本公开涉及用于在图像处理技术(例如，浅景深(SDOF)渲染)中稳健使用语义分割信息的技术。

背景技术

在相机成像中，多个因素(诸如透镜光圈的尺寸)可能影响图像的“景深”(DOF)。大型数码单透镜反光(DSLR)相机和具有宽光圈透镜的相机可用于捕获具有相对浅景深的图像，这意味着与在其他条件下(例如，更窄的光圈)捕获的图像相比，捕获图像中的对象将显得锐利(即，聚焦)的景深范围非常小。虽然SDOF图像的聚焦区域的有限范围可能看起来是物理限制，但它已经变成摄影师应用了一个多世纪的美学优势。例如，所谓的SDOF摄影可能特别适合肖像摄影，因为它可以强调对象(通常被带入相机的聚焦范围)，同时不强调背景，否则可能对场景不太感兴趣(例如，通过使背景看起来模糊和/或失焦)。

移动的多功能设备(诸如智能电话和平板设备)的出现已经使得人们期望能够将实时或几乎实时地生成高水平图像质量的小外形相机集成到此类移动的多功能设备中。随着用户依赖这些多功能设备作为其日常使用的主要相机，用户越来越需要他们已习惯于在专用相机设备中使用的功能，例如“肖像风格”SDOF摄影模式。

在某些情况下，诸如在移动设备中使用的上述小型相机，可能难以光学地实现给定水平的SDOF。例如，移动设备的相机可以具有比DSLR相机使用的最小光圈还小的光圈，因此与DSLR相机可以实现的景深相比可以具有相对大的景深。在这些情况下，为了获得具有较浅景深的图像，可能需要在捕获图像之后人工合成图像中的失焦模糊，例如通过使用捕获图像的估计深度映射。

例如，在此类肖像风格的合成SDOF图像中，可以将更大量的模糊应用于被估计距离捕获场景的聚焦平面更远的对象和像素。换句话讲，在捕获场景的前景中具有聚焦平面的合成SDOF图像中，在捕获场景中“更深”的对象可能具有更大量的模糊被应用于它们，而在聚焦前景对象(诸如人类对象)中，可以保持相对更锐利，从而愉快地向图像的观察者强调人类对象的外观。

在一些情况下，可以在合成SDOF图像生成过程中利用与捕获图像对应的“模糊映射”。模糊映射可以用于存储捕获图像中的一个或多个像素的值，这些值表示待应用于捕获图像中的对应像素以呈现期望的SDOF效果的模糊量。例如，在一些情况下，模糊映射可以存储表示待应用于捕获图像中的对应像素的模糊半径的值，尽管在模糊映射中使用模糊半径只是可以存储在模糊映射中的特定值的一个示例。然而，在SDOF渲染中使用模糊映射的一个问题是它们通常不具有高空间分辨率，例如，与将应用它们的捕获颜色图像相比，因此导致对焦(例如，前景)对象的边缘在所得到的合成SDOF图像中缺乏一些精修。模糊映射的另一个问题是存在深度估计误差，例如，背景像素可能被错误地分类为前景像素(因此在场景的背景中引入锐利的伪影)和/或前景像素可能被错误地分类为背景像素(因此在场景中在感兴趣的对象中引入无意或不自然的模糊)。