[发明专利]用于视觉搜索的紧致描述符的系统和方法

说明书

本发明要求2011年12月29日提交的发明名称为“用于视觉搜索的紧致描述符的系统和方法（System and Method for Compact Descriptor for Visual Search）”的第61/340,327号美国非临时申请案的在先申请优先权，该申请案要求2011年7月11日提交的发明名称为“作为视觉搜索中紧致描述符的拉普拉斯SURF所用的系统和方法（System and Method for Laplacian SURF as Compact Descriptor for Visual Search）”第61/506,615号美国临时申请案的在先申请优先权，这两个在先申请的内容以全文引入的方式并入本文本中。

技术领域

本发明涉及图像处理方法和系统，并且在特定实施例中，涉及用于视觉搜索应用下图像的视觉描述符中紧凑表示的系统和方法。

背景技术

现代的移动电话、手机、平板计算机、移动终端、移动装置或用户设备已发展为有效的图像和视频处理装置，该图像和视频处理装置配备有高分辨率相机、彩色显示器，和硬件加速图形。随着像android、iPhone之类的移动装置迅速发展，基于移动的多媒体视觉服务正经历着激烈的变革及开发。移动视觉搜索服务的应用场景可以是基于位置的服务、图标搜索等等，其中从移动装置中发送的一个图像或多媒体与存储在数据库或图像存储库中的另一图像或多媒体相匹配。移动视觉搜索系统的第一部署应用包括谷歌的Goggles、诺基亚的Point and Find、Kooaba和Snaptell。

移动装置经由无线网络而发送的图像查询通常在计算上开销很大，需要相当高的通信成本，而且无法支持实时操作。在受欢迎的应用程序中，其中移动装置捕获某些对象的图片，并经由无线网络将这一图片作为查询而发送以搜索较大的存储库，降低位速率同时保持匹配准确度是在MPEG下进行标准化努力所面临的主要问题和主要重点。

视觉描述符或图像描述符是对产生此类描述的图像和视频中的内容的视觉特征点的描述。这些描述符描述了形状、颜色、纹理或动作等基本特性，以及其他基本特性，并且这些描述使得可以更快速更有效地来搜索音频-视频内容。处理音频-视频描述符的标准化组织是运动图像专家组-7（MPEG-7）。

然而，对于移动装置来说，视觉描述符通常还是非常多，这是因为它们由数百个具有尺度与旋转不变性的特征点及其位置组成。有时这些尺度不变特征点可能比图像本身还要大。尺度不变特征变换（SIFT）的一个实例特征点由具有2048位的128维组成。快速鲁棒特征（SURF）的另一实例特征点由具有1024位的64维组成。

因此，需要去找到一种模型，使得能够缩减图像特征点表示的尺寸，同时保留匹配性能以用于由所缩减的特征点表示组成的查询。

发明内容

随着互联网中视觉内容存储库的飞速发展，可以在无线链路上支持通过捕获进行的查询的视觉描述符方案在多种应用中都存在着很大的吸引力。在本发明中，提出了基于图谱嵌入模型的压缩方案，用于将图像的视觉描述符中的高维特征点缩减到较低维的表示。该压缩方案在所需用于在网络中传输视觉描述符中特征点的查询准确度以及位速率方面实现了良好的扩展性。

根据一项实例实施例，提供了一种用于处理图像的方法。所述方法使用可以为矩阵形式的线性嵌入算子，根据所述图像的第一特征点集合而生成了第二特征点集合，这样，所述第一特征点集合中的成对最近邻（NN）拓扑关系便被保留在所述第二特征点集合中，其中特征点为用一组数字来表示的一个点。

根据一项实例实施例，提供了一种用于处理图像的设备。所述设备可以位于用户设备中或位于基站中。所述设备可以包括：一个接收器，其用于接收所述图像的第一特征点集合；一个线性嵌入单元，其用于使用可以为矩阵形式的线性嵌入算子，根据所述第一特征点集合生成第二特征点集合，其中所述第一特征点集合中的成对最近邻（NN）拓扑关系保留在所述第二特征点集合中。

根据一项实例实施例，提供了一种用于处理图像的设备。所述设备可以包括：一个图像存储库，其中所述图像存储库中的图像用一特征点集合来表示；一个接收器，其用于接收第一图像的一组压缩特征点；以及一个搜索单元，其用于将所述存储库中所存储的图像特征点与所述第一图像的所接收压缩特征点集合相匹配，其中所述压缩特征点由线性嵌入算子生成，所述线性嵌入算子由密切模型确定，所述密切模型包括第一密切参数、第二密切参数和密切矩阵，其中所述密切矩阵的稀疏度由所述第一密切参数和所述第二密切参数来控制。

附图说明