[发明专利]促进图像在搜索查询中的使用

说明书

用于接收查询图像，接收与查询图像相关联的一个或多个实体，针对实体中的一个或多个识别与一个或多个实体预先关联的一个或多个候选搜索查询，为候选搜索查询中的每一个生成各个相关性分数，至少基于所生成的各个相关性分数选择具体候选搜索查询作为查询图像的代表性搜索查询，并响应于接收到查询图像而提供代表性搜索查询以用于输出的方法、系统和装置。通过允许搜索查询采用图像的形式，用户界面能够允许进入搜索查询而不需要使用键盘或诸如话音辨识的另一文本键入机制的文本输入。

技术领域

本说明书涉及简化搜索引擎的使用。

背景技术

一般地，用户能够通过向搜索引擎输入查询来请求信息。搜索引擎能够处理查询并且能够响应于查询而提供用于输出到用户的信息。一些用户受限于他们与计算机交互的能力，包括受限于他们将搜索查询输入到计算机中的能力。

发明内容

根据本说明书中描述的主题的一些创新方面，计算设备允许对于搜索工具的简化用户界面。具体地，计算设备允许用户能够提供查询图像(例如，来自用户周围环境的照片)作为搜索查询。响应于系统接收到查询图像，系统用一个或多个查询图像标签(例如，标记查询图像中的特征的查询图像标签)来注释查询图像。查询图像标签标记查询图像的粗粒度特征，并且在某些情况下，标记查询图像的细粒度特征。基于查询图像标签，系统识别与查询图像标签相关联的一个或多个实体，例如，人、地点、电视网络、或体育俱乐部，并使用所识别的一个或多个实体识别一个或多个候选搜索查询。系统使用所识别的实体和查询图像标签来将候选搜索查询的评分偏向与用户相关的候选搜索查询，而与查询图像是否用细粒度标签标记无关。系统提供一个或多个相关的代表性搜索查询用于输出。

通过允许搜索查询采取图像的形式，用户界面能够允许进入搜索查询而不需要使用键盘或诸如话音辨识的另一文本键入机制的文本输入。这能够允许可能不能够以其它方式容易地使用搜索引擎的一类用户来使用界面，该类用户包括幼儿、具有有限的精细运动控制的用户、没有话音能力的用户等。它也能够允许在基于文本输入可能很难或不可能的情况下由用户使用界面，诸如在寒冷环境中，用户戴在其手上的手套阻止他们使用诸如在其移动设备上的虚拟键盘或小键盘的文本键入设备。用户可以键入文本以补充搜索查询的图像组件。

本说明书中描述的主题的创新方面可以体现在方法中，该方法包括接收查询图像，接收与查询图像相关联的一个或多个实体，对于实体中的一个或多个，识别与该一个或多个实体预先关联的一个或多个候选搜索查询，为候选搜索查询中的每一个生成各个相关性分数，至少基于所生成的各个相关性分数选择具体候选搜索查询作为查询图像的代表性搜索查询，并响应于接收到查询图像而提供代表性搜索查询以用于输出。

此方面的其它实施例包括相应的计算机系统、装置、和记录在一个或多个计算机存储设备上的计算机程序，均被配置为执行该方法的动作。一个或多个计算机的系统能够被配置为通过安装在系统上的、在操作中引起或引起系统执行动作的软件、固件、硬件、或其组合来执行具体操作或动作。一个或多个计算机程序能够被配置为通过包括当由数据处理装置运行时引起装置执行动作的指令来执行具体操作或动作。

前述和其它实施例均单独地或组合地能够可选地包括一个或多个以下特征。在一些实施方式中，为候选搜索查询中的每一个生成各个相关性分数包括，对于每个候选搜索查询：确定查询图像的上下文是否匹配候选搜索查询；并且基于所确定的匹配，为候选搜索查询生成各个相关性分数。

在一些实施方式中，确定查询图像的上下文是否匹配候选搜索查询包括确定查询图像是否具有匹配候选搜索查询的关联定位。

在一些情况下，该方法还包括接收自然语言查询；并且至少基于接收到的自然语言查询，为候选搜索查询中的每一个生成各个相关性分数。

在其它情况下，该方法还包括为候选搜索查询中的每一个生成各个相关性分数包括，对于每个候选搜索查询：使用候选搜索查询生成搜索结果页面；分析所生成的搜索结果页面以确定指示该搜索结果页面多感兴趣和多有用的度量；并且基于所确定的度量，为候选搜索查询生成各个相关性分数。