[发明专利]用于处理图像的方法、电子设备及介质

说明书

本文的实施例提供了用于处理图像的方法、电子设备及介质。所述实施例包括检测与图像中的感兴趣点的类型相似的类型的感兴趣对象。可以针对捕获的图像中的感兴趣点和感兴趣对象确定视差值。可以选择具有视差值阈值范围内的视差值的感兴趣对象，其中所述视差值阈值范围基于感兴趣点的视差值。实施例包括执行图像中的具有不在视差值阈值范围内的视差值的对象的视差值的重分布。实施例包括基于感兴趣点的视差值向选择的感兴趣对象分配视差值，以实现选择性视差细化。

相关申请的交叉引用

本申请要求于2018年3月29日在印度知识产权局提交的印度专利申请第201841012031号的优先权，其公开内容通过引用整体并入本文。

技术领域

本文的实施例一般涉及图像处理，更具体地，涉及具有特殊效果的图像处理。

背景技术

目前，配备有双相机的电子设备利用立体拍摄(stereo capture)用于处理捕获的图像，以渲染期望的效果。例如，为了在图像上渲染作为在聚焦区域周围的美学模糊的散景(bokeh)效果，从立体拍摄获得深度感知，即，共同场景的左图像和右图像捕获。可以从指示图像中所有像素的视差的图(map)推导(deduce)出图像中的(一个或多个)对象的深度感知。可以通过将左图像与右图像的所有像素进行匹配，并利用分别捕获左图像和右图像的左相机和右相机之间的分离的知识来获得视差图。视差图包括针对所有像素的左图像和右图像之间的视差。

图1是描绘生成视差图的过程的框图。考虑示例场景，其中设备包括两个相机，即第一相机101和第二相机102。考虑将要捕获的3D图像，其中第一相机101可以生成左图像而第二相机102可以生成右图像。可以由视差图生成块103获得左图像视差和右图像视差。如果左图像被认为是参考图像，则针对左图像的每个像素(代表特征)，可以获得右图中该特征的等效坐标。左图像和右图像中的像素的坐标之间的差异是像素的视差。类似地，可以获得所有像素的视差。可以由视差图生成块103来合成所有像素的视差，以获得视差图。

然而，由于左右不一致、遮挡等，视差图中可能存在不规则性。在示例中，在右图像中可能不存左图像中的对象。可以使用视差图细化块104来细化不规则性。可以将经细化的视差图馈送到应用块105，其中可以执行处理以对3D图像渲染(render)具体效果。

图2描绘了示例场景，其中通过对图像应用散景效果未获得期望的视图。考虑电子设备配置有用于检测图像中的人的软件。如图2中所描绘，在用户捕获图像的同时，用户可以聚焦在有意的感兴趣区域(ROI)。电子设备可以生成使用电子设备中的至少两个相机捕获的左图像和右图像。电子设备可以使用左相机和右相机之间的分离距离的知识，通过对极几何(epipolar geometry)，从ROI中的像素的视差图探知ROI中的像素的深度。基于ROI中像素的深度，可以通过将ROI中的像素分类为前景并将ROI之外的像素分类为背景，来应用散景效果。ROI内的像素可以保持原样，而不在ROI内的像素可以被模糊。

如果ROI包括单个对象，则在应用散景效果之后渲染的视图可能是期望的，因为对象将(以其原始形式)保持清晰。然而，如果ROI包括多个感兴趣对象，则应用散景效果时的渲染的视图可能不是期望的。例如，可能期望对图像帧中所有人(主体)保持聚焦。如果主体遍及在整个帧中并且单个ROI被定义为约束到排除主体的帧的某个区域，则如图2的示例所示，当应用散景效果时，被排除的主体将变得不期望地模糊。这可能由于ROI内的主体与其他主体之间的深度差异而发生。

图3A描绘了使用电子设备捕获的示例图像，其中图像包括多个对象。捕获的图像可以是3D图像，其中可以以某种方式平均左图像和右图像以获得合成图像作为捕获的图像。电子设备可以检测捕获的图像中的感兴趣对象。之后，可以从左图像和右图像确定感兴趣对象的视差值。

图3B描绘了捕获的图像的“视差图像”。如图3B中所描绘，这里感兴趣对象是六个主体。视差图像还提供六个主体的视差值(范围从12至48，其中较小的数字指示主体更远)。