[发明专利]在图像内搜索和注释

权利要求书

1.一种由数据处理装置实现的方法，所述方法包括：

接收第一图像；

接收第一查询，所述第一查询不是图像并且与所述第一图像相关联且与所述第一图像分开；

识别对所述第一查询作出响应并且不包括所述第一图像的第二图像集合，所述第二图像集合中的每个第二图像与所述第一图像不同；

响应于识别对所述第一查询作出响应的所述第二图像集合：

将所述第二图像集合的每个第二图像的视觉特征与所述第一图像的视觉特征相比较；以及

确定所述第二图像集合中的所述第二图像中的一个或多个第二图像中被描绘的候选对象类似于在所述第一图像的子部分中被描绘的特定对象；以及

响应于确定所述第二图像集合中的所述第二图像中的所述一个或多个第二图像中被描绘的所述候选对象类似于在所述第一图像的所述子部分中被描绘的所述特定对象：

提供使得用户设备与所述第一图像一起显示注释的注释，所述注释提供关于所述第一图像的所述子部分中被描绘的所述特定对象的信息，所述注释指示所述第一图像包括与所述第一查询相关的所述特定对象。

2.根据权利要求1所述的方法，其中，所述注释指定所述第一图像的包括所述特定对象的所述子部分。

3.根据权利要求2所述的方法，其中，所述注释是边界框，所述边界框环绕在所述第一图像的包括所述特定对象的所述子部分周围。

4.根据权利要求1所述的方法，其中，所述注释是指向提供关于所述特定对象的信息的网站的链接。

5.根据权利要求1所述的方法，其中，所述注释是指向获得结果图像的网站的链接。

6.根据权利要求1所述的方法，其中，所述第一查询是文本数据。

7.根据权利要求1所述的方法，其中，识别不包括所述第一图像的第二图像集合包括：

识别对所述第一查询作出响应的多个图像搜索结果，其中，每个图像搜索结果引用图像资源并具有图像相关性分数，所述图像相关性分数指示所述图像资源与所述第一查询的相关性度量；

从所述多个图像搜索结果识别排名最高的图像搜索结果集合，所述排名最高的图像搜索结果均具有超过所述多个图像搜索结果中的、不在所述排名最高的图像搜索结果集合中的每个其他图像搜索结果的图像相关性分数的图像相关性分数；以及

识别被所述排名最高的图像搜索结果集合引用的所述图像资源作为所述第二图像集合。

8.根据权利要求1所述的方法，其中，识别不包括所述第一图像的第二图像集合包括：

访问存储查询-图像对的数据存储，每个查询-图像对包括被配对的查询和被配对的图像；

识别特定的查询-图像对，所述特定的查询-图像对包括对应于所述第一查询的被配对的查询；以及

识别包括在所述特定的查询-图像对中的被配对的图像作为属于所述第二图像集合的图像。