[发明专利]使用基于预言的概率采样的图像补丁匹配

说明书

本公开指向用于图像补丁匹配的系统和方法。具体地，本文描述的系统和方法对图像补丁进行采样来标识与目标图像补丁匹配的那些图像补丁。本文描述的系统和方法基于预言而概率性地接受图像补丁提议作为潜在的匹配。预言进行评估在计算上是廉价的，但是比相似度启发法更近似。系统和方法使用预言来快速地将搜索引导到更可能具有匹配的搜索空间的区域。当标识可能包括匹配的区域时，系统和方法使用更精确的相似度函数来标识补丁匹配。

技术领域

本公开实施例涉及计算机技术领域，尤其涉及一种在用于执行数字图像修改或数字图像对象识别中的一个或多个的数字媒体环境中进行图像补丁匹配的计算机实现的方法和用于执行数字图像修改或数字图像对象识别中的一个或多个的系统。

背景技术

存在许多软件应用程序来帮助用户使用各种编辑工具创建和编辑图像和视频。这些工具的功能范围从初步调整大小和裁剪到更复杂的灯光调整和对象操纵。补丁匹配是图像编辑软件中经常使用的一个过程。补丁匹配搜索共享一个或多个属性的图像的部分。补丁匹配技术允许从图像中去除不需要的对象、绘制新对象以匹配图像、立体匹配、纹理合成以及以各种方式改变数字图像。

补丁匹配基于空间相干性搜索类似的图像补丁。具体地，常规补丁匹配是基于使用随机采样来找到良好的匹配并且使用图像中的自然一致性将这种匹配快速传播到周围区域。常规的补丁匹配在数字图像的相应的图像补丁上进行扫描，并计算距离或相似度得分。一个这种相似度得分涉及像素值之间的平方和距离。相同的补丁(即匹配)具有零的平方和距离。通常，为图像中每个像素的找到最佳补丁匹配需要大量的平方和距离的评估。

虽然补丁匹配比强力搜索更快，但常规补丁匹配技术存在问题。例如，常规补丁匹配在大型搜索空间中较慢。由于搜索空间的高维度，当允许补丁旋转和缩放(即，使用广义补丁匹配)时，常规补丁匹配的速度进一步减慢。

发明内容

本文所描述的一个或多个实施例利用以更高速度提供图像补丁匹配的系统和方法提供了优点并解决了本领域中的一个或多个前述或其他问题。具体地，本文描述的系统和方法通过采用预言(oracle)来提高查找补丁匹配的收敛速度。预言进行评估在计算上是廉价的，但是比诸如平方和距离的相似度函数更近似。系统和方法使用预言来快速地将搜索引导到更有可能具有匹配的搜索空间的区域。更具体地，系统和方法使用在基于预言的概率的基础上接受图像补丁的概率算法来从图像中采样补丁，以进一步进行评估。基于预言的概率算法使得系统和方法花费更多的时间来探索搜索空间中可能匹配的区域。当标识出可能包含匹配的区域时，系统和方法使用更准确的相似度启发法(heuristic)来标识补丁匹配。

本申请的附加特征和优点将在下面的描述中阐述，并且部分地将从描述中显而易见，或者可以通过实践这些示例性实施例来了解。

附图说明

本公开将通过参考附图以额外的明确性和细节来描述本发明的一个或多个实施例。以下段落简要地描述了这些图，其中：

图1图示了计算设备上的屏幕，其示出了根据一个或多个实施例的标识出与目标图像补丁匹配的图像补丁的补丁匹配系统的示例；

图2图示了示意图，其示出了根据一个实施例的近似相似度启发法引导朝向可能的补丁匹配的搜索的方式；

图3图示了示例数字图像，其示出了根据一个或多个实施例的其中补丁匹配系统标识图像补丁匹配的采样的简化示例；

图4A-图4B图示了示出根据一个或多个实施例的广义补丁匹配的结果与由补丁匹配系统产生的结果的比较的示例重建图像；

图5图示了量化图4A和图4B的结果的误差绘图；

图6图示了根据一个或多个实施例的补丁匹配系统的示意图；

图7图示了根据一个或多个实施例的补丁匹配系统在其中操作的示例环境；