[发明专利]在图像内搜索和注释

说明书

本申请涉及在图像内搜索和注释。包括编码在计算机存储介质上的计算机程序以用于在图像内搜索的方法、系统和装置。在一方面，方法包括从用户设备接收查询；从所述用户设备接收查询图像；识别响应于所述查询的结果图像；确定所述查询图像的子部分中被描绘的对象类似于所述结果图像；以及响应于确定所述查询图像的所述子部分中被描绘的对象类似于所述结果图像：提供注释数据至所述用户设备，所述注释数据使得所述用户设备与所述查询图像一起显示注释，所述注释指定包括类似于所述结果图像的所述对象的所述查询图像的所述子部分。

分案说明

本申请属于申请日为2014年8月13日的中国发明专利申请No.201480056395.5的分案申请。

技术领域

本说明书涉及在图像内搜索。

背景技术

特征检测算法使得计算设备能够识别在图像中被描绘的视觉特征。视觉特征的检测已引起用于识别包括特定特征的图像的部分的技术的发展。例如，光学字符辨识技术允许图像被处理以识别包括在图像中的字母数字的字符。

发明内容

本说明书描述了涉及在图像内搜索的技术。

一般地，本说明书中描述的主题的一个创造性的方面可以被体现在包括以下动作的方法中：从用户设备接收查询；从所述用户设备接收查询图像；识别响应于所述查询的结果图像；确定所述查询图像的子部分中被描绘的对象类似于所述结果图像；以及响应于确定所述查询图像的所述子部分中被描绘的对象类似于所述结果图像：提供注释数据至所述用户设备，所述注释数据使得所述用户设备与所述查询图像一起显示注释，所述注释指定包括类似于所述结果图像的所述对象的所述查询图像的所述子部分。该方面的其他实施例包括对应的系统、装置和计算机程序，其被配置为执行被编码在计算机存储设备上的所述方法的动作。

这些和其他实施例可各自选择性地包括以下特征中的一个或多个。识别响应于所述查询的结果图像包括：识别响应于所述查询的多个图像搜索结果，其中，每个图像搜索结果引用图像资源并具有图像相关性分数，所述图像相关性分数指示所述图像资源与所述查询的相关性度量；从所述多个图像搜索结果识别排名最高的图像搜索结果，所述排名最高的图像搜索结果具有超过所述多个图像搜索结果中的每个其他图像搜索结果的图像相关性分数的图像相关性分数；以及识别被所述排名最高的图像搜索结果引用的所述图像资源作为所述结果图像。

识别响应于所述查询的结果图像可以包括：访问存储查询-图像对的数据存储，每个查询-图像对包括被配对的查询和被配对的图像；识别特定的查询-图像对，所述特定的查询-图像对包括对应于被接收的查询的被配对的查询；以及识别包括在所述特定的查询-图像对中的被配对的图像作为所述结果图像。

确定所述查询图像的子部分中被描绘的对象类似于所述结果图像可以包括：比较所述结果图像的视觉特征与所述查询图像的视觉特征；基于所述比较，确定所述结果图像的所述视觉特征与所述查询图像的所述子部分中被描绘的对象的所述视觉特征之间的相似度度量；确定所述相似度度量满足预确定的相似度阈值；以及响应于确定所述相似度度量满足所述预确定的相似度阈值，确定所述查询图像的所述子部分中被描绘的所述对象类似于所述结果图像。

所述注释数据可以指定边界框的坐标，所述边界框环绕在包括类似于所述结果图像的所述对象的所述查询图像的所述子部分周围，并且，所述注释可以包括所述边界框的视觉描绘。

所述注释可以包括所述查询图像的所述子部分的视觉突出显示，所述查询图像的所述子部分包括类似于所述结果图像的所述对象。所述注释可以包括所述结果图像的至少一部分。

本说明书中描述的主题的特定实施例可被实现，从而实现以下好处中的一个或多个。由于多种原因，用户可能喜欢在图像或视频内识别对象时协助。例如，本文中描述的主题可促进对对象的用户识别快于用户用其他方式能够定位或识别对象。此外，对象可为用户被识别或定位，即使用户没有意识到对象长什么样子。