[发明专利]使用运动流形来改进图像匹配

权利要求书

1.一种用于创建运动流形以确定两个图像图块之间的相似性的计算机实施的方法，所述方法包括：

识别数字视频集合中的视频的语义区域；

通过跨所述视频的帧跟踪与所述语义区域对应的图块来识别图块轨迹；

使用所述图块轨迹来创建所述运动流形，所述运动流形针对所述语义区域中的语义区域指示所述语义区域的不同视觉表示；以及

存储所述运动流形。

2.根据权利要求1所述的计算机实施的方法，其中所述语义区域由个别图像点构成。

3.根据权利要求1所述的计算机实施的方法，其中所述语义区域由视觉上不连续的点定义的个别语义对象构成，并且其中用于语义对象的所述图块包括用于所述点界定的区域的像素数据。

4.根据权利要求1所述的计算机实施的方法，其中每个识别的图块轨迹与所述语义区域之一关联并且包括用于所述语义区域的被跟踪的图块的集合。

5.根据权利要求4所述的计算机实施的方法，还包括用表示图块的关联<r,v,t,l>元组的集合表示识别的图块轨迹，r表示关联的语义区域的标识符，v表示所述关联的语义区域存在于其中的视频的标识符，t表示与所述语义区域对应的图块在所述视频内被识别到的时间的时间指示符，并且l表示所述语义区域在所述时间在所述视频的帧内所处的区域。

6.根据权利要求1所述的计算机实施的方法，其中创建所述运动流形包括：

根据所述图块的视觉相似性将所述图块聚类成图块聚类；并且

通过响应于聚类对的第一聚类具有来自第一轨迹的图块并且所述对的第二聚类具有来自相同第一轨迹的图块而在所述聚类对之间创建边以形成聚类图。

7.根据权利要求1所述的计算机实施的方法，其中创建所述运动流形包括：

根据所述图块的视觉相似性将所述图块聚类成图块聚类；

形成聚类矩阵，其中每个矩阵元素量化所述图块聚类中的第一图块聚类与所述图块聚类中的第二图块聚类之间的语义相似性的程度。

8.根据权利要求1所述的计算机实施的方法，还包括通过响应于聚类对中的第一聚类具有来自第一轨迹的图块并且所述对中的第二聚类具有来自相同第一轨迹的图块而在所述聚类对之间创建边以形成聚类图，其中所述聚类矩阵是方形矩阵并且基于所述聚类图的所述边形成所述聚类矩阵中的值。

9.根据权利要求1所述的计算机实施的方法，还包括：

使用所述运动流形来确定来自第一视觉元素的第一图块与来自第二视觉元素的第二图块之间的语义相似性的程度。

10.根据权利要求9所述的计算机实施的方法，还包括：

使用所述运动流形来确定所述第一视觉元素与所述第二视觉元素之间的语义相似性的程度，其中所述第一视觉元素是图像和视频段之一。

11.一种计算机可读存储介质，具有在其中体现的用于创建运动流形以确定两个图像图块之间的相似性的可执行计算机程序指令，所述计算机程序指令的动作包括：

识别数字视频集合中的视频的语义区域；

通过跨所述视频的帧跟踪与所述语义区域对应的图块来识别图块轨迹；

使用所述图块轨迹来创建所述运动流形，所述运动流形针对所述语义区域中的语义区域指示所述语义区域的不同视觉表示；以及

存储所述运动流形。

12.根据权利要求11所述的计算机可读存储介质，其中每个识别的图块轨迹与所述语义区域之一关联并且包括用于所述语义区域的被跟踪的图块的集合。

13.根据权利要求12所述的计算机可读存储介质，所述动作还包括用表示图块的关联<r,v,t,l>元组的集合表示识别的图块轨迹，r表示关联的语义区域的标识符，v表示所述关联的语义区域存在于其中的视频的标识符，t表示与所述语义区域对应的图块在所述视频内被识别到的时间的时间指示符，并且l表示所述语义区域在所述时间在所述视频的帧内所处的区域。

14.根据权利要求11所述的计算机可读存储介质，其中创建所述运动流形包括：

根据所述图块的视觉相似性将所述图块聚类成图块聚类；并且

通过响应于聚类对中的第一聚类具有来自第一轨迹的图块并且所述对中的第二聚类具有来自相同第一轨迹的图块而在所述聚类对之间创建边以形成聚类图。