[发明专利]针对深度和视差估计的语义分割的稳健用途

说明书

本公开涉及针对深度和视差估计的语义分割的稳健用途。本公开涉及用于使用语义分割来生成捕获图像的稳健深度估计的技术。语义分割可被定义为在图像上创建掩模的过程，其中像素被分割成预定义的一组语义类别。此类分割可以是二进制的(例如，“人物像素”或“非人物像素”)或多类(例如，可将像素标记为：“人物”、“狗”、“猫”等)。随着语义分割技术在准确性和采用方面的增加，开发利用此类分割和开发用于将分割信息整合到现有计算机视觉应用(诸如深度和/或视差估计)中的柔性技术的方法变得越来越重要，以在广泛的图像捕获场景中产生改善的结果。在一些实施方案中，可使用优化框架来优化相机设备的初始场景深度/视差估计，该估计采用稳健方式的语义分割和颜色正则化两者。

技术领域

本公开整体涉及数字成像领域。更具体地，但并非限制性地，本公开涉及针对在数字图像中执行稳健深度和/或视差估计的技术。

背景技术

移动的多功能设备(诸如智能电话和平板设备)的出现使得人们期望能够实时或几乎实时地生成高水平图像质量的小外形相机以集成到此类移动的多功能设备中。随着用户依赖这些多功能设备作为其日常使用的主要相机，用户越来越需要他们习惯于在专用相机设备中使用的特征。

一些此类特征，例如“肖像风格”摄影模式，依赖于对所捕获图像使用估计的深度和/或视差映射，即，为了产生比通常在设备的相机系统自然捕获的图像中看到的更浅的景深的效果。(所得的具有浅景深外观的肖像风格图像在本文中也称为“SDOF”图像或“合成SDOF”图像。)例如，在此类肖像风格的合成SDOF图像中，可以将更大量的模糊应用于估计离捕获场景中的焦平面更远的对象(例如，背景对象)，而在焦平面中的对象，诸如在捕获的场景的前景中的人类主体，可以保持相对更清晰，从而愉快地强调人类主体对图像的观察者的外观。然而，某些场景捕获条件(例如，前景和背景对象可能包含相似颜色，和/或场景中单个深度平面上的对象包含多种颜色和纹理的位置)可能对用于深度和/或视差估计的典型的基于颜色图像的正则化技术提出特定挑战。

语义分割在涉及图像处理和计算机视觉的产品中的使用变得越来越流行。语义分割可以被定义为创建掩模的过程，例如，图像上的逐像素掩模，其中像素被分配(或“分割”)成预定义的一组语义类别。此类分割可以是二进制的(例如，给定像素可以被分类为“人物像素”或“非人物像素”)，或者分割也可以是多类分割(例如，给定的像素可以标记为：“人物”、“狗”、“猫”或“其他”)。近年来，使用卷积神经网络(CNN)已经实现了最准确的语义分割。随着语义分割技术在准确性和采用方面的增加，开发利用此类分割和开发用于将分割信息整合到现有计算机视觉应用(诸如深度和/或视差估计)中的柔性技术的稳健方法变得越来越重要，以在广泛的图像捕获场景中产生改善的结果。

发明内容

本文公开了电子设备、计算机可读存储介质和相关方法，它们被配置为生成捕获图像的深度和/或视差估计。特别地，此类估计可依赖于与所捕获图像相关联的语义分割信息的稳健使用，以及与所捕获图像相关联的颜色信息的组合。

在本文的整个讨论中，将关于捕获图像讨论视差和深度的各个方面。如本文所使用的，视差是指从不同视角捕获的图像的对应部分之间观察到的偏移量，例如，两个相机被隔开一距离。使图像的对应部分重叠所需的偏移量是视差。图像中的对象最佳匹配的视差可用于计算场景中的对象的深度，即，对象远离捕获相机的实际距离。可以根据任何期望的方法将视差信息转换为深度信息。例如，在一些情况下，深度被大致计算为与视差估计的倒数成正比。