[发明专利]景深信息估算方法和装置

说明书

公开了一种从叠焦图像中提取深度信息的方法和装置。该方法可包括：以焦点卷积神经网络(焦点网络)处理所述叠焦图像，以生成多幅特征图；使该多幅特征图相叠；以及通过多个第一卷积层融合所述多幅特征图，以获得深度图。所述焦点网络可包括多个分支，每一所述分支均包括以不同步幅对所述叠焦图像进行降采样的降采样卷积层和对该叠焦图像进行升采样的去卷积层。

技术领域

本发明总体涉及估算图像景深信息的方法和装置，尤其涉及一种从叠焦图像中提取景深信息的方法和装置。

背景技术

随着手机市场的快速增长，越来越多的人开始习惯用手机摄像头拍照。随着计算摄影技术的发展，手机摄像头的功能也越来越多。例如，iPhone 7和华为荣耀8使用双摄像头系统实现浅景深(DoF)模拟。谷歌公司的“Lens Blur”应用程序利用摄像头的移动实现类似效果。从本质上讲，由于此类摄像头以不同视角拍摄图像，因此可以利用视差从这些图像中产生深度。该深度信息随后可用于合成浅景深图像。然而，手机摄像头所生成的深度图，尤其边界区域的质量通常较差，而且计算成本较高，因此此类摄像头无法向用户做出即时响应。

如想获得高质量的深度信息，上述方法往往需要使用复杂的摄像头系统，或者需要延长拍摄时间。为了克服这些限制，本发明专注于以手机摄像头已有的叠焦图像功能估算深度信息。每当用户以手机拍照时，摄像头均会对拍摄场景进行快速焦面扫描，以找到最佳的自动对焦点。扫描中得到的一组图像称为叠焦图像，其内含有场景的深度信息。采用双摄像头系统的手机所拍摄的叠焦图像称为双目叠焦图像。

一种传统的从叠焦图像中推算深度的方法采用焦点断深法(Depth-from-Focus，从焦点推断深度)，其中先确定叠焦图像中所有像素的锐度差异，然后将锐度最高的一层图像指定为深度。对于双目叠焦图像，传统的立体匹配算法通过特征匹配和优化维持马尔科夫随机场(Markov Random Field，MRF)特性，即：视差场整体平滑，突然变化仅发生于遮挡边界处。这两种方法都需要通过图割及置信度传播等优化算法找出最佳结果。然而，这种优化过程往往速度较慢。此外，目前尚鲜有关于从焦点和视差两方面推断深度的论述。

为了解决上述问题，本发明推出若干种从叠焦图像或双目叠焦图像中推断深度信息的网络。这一方法能够以更短的时间获得更高质量的结构，因此更为精确和有效。

发明内容

本发明的一个方面涉及一种从叠焦图像中提取深度信息的方法。该方法可包括：以焦点卷积神经网络(焦点网络)处理所述叠焦图像，以生成多幅特征图；将该多幅特征图叠起；以及通过多个第一卷积层融合所述多幅特征图，以获得深度图。所述焦点网络可包括多个分支，每一所述分支均包括以不同步幅对所述叠焦图像进行降采样的降采样卷积层和对该叠焦图像进行升采样的去卷积层。

本发明的另一方面涉及一种从立体图像中提取深度信息的方法。该方法可包括：以立体卷积神经网络(立体网络)处理所述立体图像，以获得第二深度图。所述立体网络可包括由降采样部分和升采样部分组成的多个结构。每一降采样部分可含有与多个第一残差模块交错夹杂的多个最大池化层。每一升采样部分可含有与多个第二残差模块交错夹杂的多个去卷积层。

本发明的另一方面涉及一种从叠焦图像中提取深度信息的装置。该装置可包括：数据捕获单元，该单元包括用于生成第一叠焦图像的第一数字摄像头；数据处理单元，该单元包括处理器和存储器，该存储器包含焦点卷积神经网络(焦点网络)。所述装置可进一步包括用于生成第二叠焦图像的第二数字摄像头和用于获得第二深度图的立体卷积神经网络(立体网络)。

应该理解的是，以上概括描述和以下详细描述均仅在于例示和说明，并不对所要求保护的本发明构成限制。

附图说明

作为本发明的一部分，所附各图示出了若干非限制性实施方式，并与说明书一道阐明本发明中的原理。

图1为根据本发明例示实施方式的景深信息提取系统示意图。