[发明专利]深度图生成

说明书

从利用常规数字相机从相同视点使用不同配置设置(其可以对于每个图像任意选取)捕获的图像中的两个或者更多图像生成深度图。配置设置可以包括光圈和焦距设置和/或能够将模糊引入到图像中的其它配置设置。使用深度似然函数在离散的深度假定的集内评估所选取的图像分块的深度，深度似然函数被建模为在频域中使用平面先验来分析与模糊内核进行卷积的对应图像分块。以此方式，可以评估深度似然函数，而不用首先重建全景对焦图像。模糊内核在深度似然函数中使用，并且从深度和配置设置到模糊内核的映射来识别。这一映射从用于捕获两个或者更多图像的数字相机的校准数据来确定。

技术领域

本公开总体上涉及用于估算数字图像内的深度的方法和系统，并且更具体地涉及估算使用常规数字相机捕获的数字图像内的深度。

版权公告

这一专利文件的公开内容的一部分包含受版权保护的材料。版权所有者不反对任何人传真复制专利文件或者专利公开，如其出现在专利和商标局的专利档案或者记录中的那样，但是在其他方面，无论什么都保留所有版权权利。

背景技术

数字相机(包括数字单反(DSLR)相机和集成到移动设备中的数字相机)通常具有使得用户能够使用不同的用户定义和相机定义的配置设置的组合捕获数字图像的复杂硬件和软件。数字图像提供特定场景的数字表示。随后数字图像可以被单独处理或者与其它图像组合处理，以便从图像取得附加信息。例如，可以处理一个或者多个图像以便估算场景内描绘的对象的深度，即每个对象距离从其拍摄图片的位置的距离。场景中每个对象(或者可能图像内每个像素)的深度估算被包括在称为“深度图”的文件中。除其它之外，深度图可以用于改进现有图像编辑技术(例如剪切、孔洞填充、拷贝到图像层等)。

常规深度估算技术包含依靠“图像先验”指导深度图生成的计算模型。“图像先验”为用于考虑关于场景的内容或者特性的某些假设的统计模型，并且用于解决当分析图像时可能遇到的深度歧义。例如，图像先验可以基于深度跨全景对焦(all-in-focus)图像平滑变化的假设来设计，除了存在深度不连续性的地方(例如，在场景内的对象的边缘或者轮廓处)。在图像域中，这一类型的图像先验可以用跨图像的期望梯度分布来表达。在傅里叶域中，可以定义可比拟图像先验，使得在特定频率处的能量的量与提升到某个功率的该频率成比例。在深度估算中使用这一类型的图像先验可以在一些情形下产生良好结果，但是当前景对象和背景对象之间的深度不连续性未被捕获在图像数据内时，将无法这么做。因此，在深度图生成中使用通用图像先验导致不精确的深度估算，因为底层假设基于一般性(generalization)并且必定不会适用于所有图像(例如，不是所有场景的实际纹理都将良好地适合定义的图像先验)。

用于估算数字图像内的深度的一些常规技术还要求输入从不同场景的一个或者多个图像取得的训练数据，以便于准确地生成深度图。一些技术要求要生成深度图的图像必须使用预定的光圈设置和预定的焦距设置来捕获。其它技术包含对从相同场景拍摄的多个图像的特性比较，并且可能要求多个图像以特定顺序或者依照预定义的光圈、焦距和/或其它相机配置设置的组合来捕获。一些模型还要求依照预定义的光圈、焦距和/或其它配置设置的组合或者使用随机选取的光圈、焦距和/或其它配置设置的组合来捕获图像的稠密集。

比较从相同场景拍摄的多个图像的特性的常规深度估算技术通常将图像分块与“模糊内核”进行比较，以便估算图像分块的深度。模糊内核是对图像内的离焦模糊的近似。然而，常规模型通常向选取具有更大模糊值的模糊内核偏置，特别在图像分块内存在噪声时(即，未被模型考虑的信息)。选取不与图像分块的模糊紧密近似的模糊内核将导致不精确的深度估算。

因此，现有深度估算技术可能是不精确、资源密集、耗费时间、复杂和不可预测的。据此，期望提供用于估算使用常规数字相机拍摄的图像内的对象的距离的改进的解决方案。

发明内容