[发明专利]使用运动流形来改进图像匹配

摘要

一种运动流形系统，分析视频集合，从而识别在那些视频内与感兴趣的区域对应的图像图块，并且通过跟踪该区域在视频中随时间的移动来识别图块轨迹。基于图块识别和跟踪，该系统产生运动流形数据结构，该运动流形数据结构捕获相同语义区域可以随时间具有不同视觉表示的方式。然后，可以应用运动流形以确定在不同图块之间或者在更高级别构造、诸如图像或者视频段之间的语义相似性，包括检测在视觉上不相似的图块或者其它构造之间的语义相似性。

主权项

一种用于创建运动流形以确定两个图像图块之间的相似性的计算机实施的方法，所述方法包括：识别数字视频集合中的视频的语义区域；针对每个识别的语义区域，通过识别与所述语义区域对应的图块来识别图块轨迹，并且跨所述视频的连续帧跟踪所述图块，与所述语义区域对应的图块包括针对所述语义区域的图像数据；通过使用针对给定的语义区域所识别的所述图块轨迹来创建所述运动流形，所述运动流形指示所述给定的语义区域的不同视觉表示；所述运动流形的所述创建包括：根据所述图块的视觉相似性将所述图块聚类成图块聚类，每个图块聚类表示具有相似视觉外观的所述图块的子集，所述子集中的所述图块来自一个或多个图块轨迹，以及确定所述图块聚类的对之间的语义相似性的程度，所述确定基于所述对的第一聚类和所述对的第二聚类具有来自相同图块轨迹的图块的程度，以及存储所述运动流形。