[发明专利]使用运动流形来改进图像匹配

说明书

技术领域

本公开一般地涉及数字视频领域，并且更具体地涉及确定两个图像或者其部分的语义相似性的方法。

背景技术

对图像和视频的自动化分析具有诸多有用的应用。作为一个示例，用于量化图像或者其中的对象的语义相似性的能力将允许用户搜寻与当前被观看的图像或者视频相似的图像或者视频，或者允许系统在视频内跨时间识别特定对象而无论它的视觉外观如何改变。

然而，常规技术在比较两个视觉对象或者随时间跟踪对象时依赖于一致视觉相似性的存在。虽然这样的技术可以应用于具有一致视觉表示的对象，但是它们在可能变形的对象(诸如破裂气球或者随时间张开和闭合的眼睛)、能够进行有关节的运动的对象(诸如人或者动物)和可能随时间明显改变它们的视觉外观的其它类型的对象的情况下表现欠佳。

发明内容

一种计算机实施的方法的一个实施例包括识别数字视频集合中的语义区域并且通过跨视频的帧跟踪与语义区域对应的图块(patch)来识别图块轨迹。该方法还包括使用图块轨迹来创建运动流形(manifold)，该运动流形针对语义区域中的语义区域指示语义区域的不同视觉表示。该方法还包括存储运动流形。

一种计算机可读存储介质的实施例具有在其上体现的用于执行动作的可执行计算机程序。这些动作包括识别数字视频集合中的视频的语义区域并且通过跨视频的帧跟踪与语义区域对应的图块来识别图块轨迹。这些动作还包括使用图块轨迹来创建运动流形，该运动流形针对语义区域中的语义区域指示语义区域的不同视觉表示，并且存储运动流形。

在一个实施例中，一种计算机系统包括计算机处理器和具有在其中体现的可执行计算机程序指令的计算机可读介质。在由计算机处理器执行时，该指令执行动作，这些动作包括识别数字视频集合中的视频的语义区域并且通过跨视频的帧跟踪与语义区域对应的图块来识别图块轨迹。这些动作还包括使用图块轨迹来创建运动流形，该运动流形针对语义区域中的语义区域指示语义区域的不同视觉表示，并且存储运动流形。

一种计算机实施的方法的一个实施例包括访问运动流形，该运动流形针对包括视觉上相似的图像图块的图块聚类(cluster)对来量化从在视频的过程期间、在图块聚类中的图块之间的转变的分析中推导的语义相似性的程度。该方法还包括使用运动流形来确定来自第一视觉元素的第一图块与来自第二视觉元素的第二图块之间的语义相似性的程度。

在说明书中描述的特征和优点并非穷尽的，并且具体而言，许多附加特征和优点将鉴于附图、说明书和权利要求而为本领域普通技术人员所清楚。另外，应当注意在说明书中使用的言语已经主要出于可读性和指导目的而加以选择并且可能未被选择用于界定或者限制发明主题。

附图说明

图1是根据一个实施例的其中可以构造运动流形的视频共享服务的框图。

图2图示用于区域的随时间变化的轨迹的概念。

图3图示根据一个实施例的图1的运动流形模块的各种部件。

图4A和图4B分别图示示例聚类图和对应聚类矩阵。

图5A和图5B是表示根据一个实施例的由运动流形模块分析、产生和/或应用的各种类型的数据的关系和推导的数据流图。

附图仅出于示例的目的而描绘本公开的各实施例。本领域技术人员将从以下描述容易认识到可以运用这里所示结构和方法的备选实施例而不脱离这里描述的本公开的原理。

具体实施方式

系统架构

图1是根据一个实施例的其中可以运用分类器训练的示例视频共享服务100的框图。视频共享服务100表示一个系统，诸如YOUTUBE系统，该系统存储内容提供者130提供的视频并且使视频可用于客户端，诸如客户端设备135。视频共享服务100因此经由网络140与多个内容提供者130和客户端设备135通信以有助于在用户之间共享视频内容。注意，为了清楚，图1仅描绘了内容提供者130和客户端设备135的一个实例，但是可以存在任何数目的内容提供者和客户端设备。