[发明专利]情景地消除查询的歧义

说明书

公开了包含在计算机存储介质上编码的计算机程序的方法、系统和设备，用于情景关联地消除查询的歧义。在一个方面，方法包含接收在计算装置的显示器上呈现的图像和由计算装置的用户所说出的话语的转录，识别包含在图像中的特定子图像，并且基于在特定子图像上进行图像识别来确定一个或多个第一标签，该一个或多个第一标签指示特定子图像的情景。该方法还包含基于在图像的除了特定子图像之外的部分上进行文本识别来确定指示特定子图像的情景的一个或多个第二标签，基于转录、第一标签和第二标签来生成搜索查询，以及提供搜索查询以用于输出。

技术领域

本说明书涉及搜索引擎。

背景技术

通常，在请求执行搜索时，搜索查询包含提交到搜索引擎的一个或多个术语。例如，用户可以通过在键盘上打字、或者在语音查询的实例中通过对着计算装置的麦克风说出查询术语来输入搜索查询的查询术语。可以使用语音识别技术来处理语音查询。

发明内容

在一些实施方式中，可以分析对应于计算装置的显示器的一部分的图像，以辅助查询处理系统回答自然语言查询。例如，用户可以询问关于用户正在计算装置上浏览的照片的问题，诸如“这是什么？”。计算装置可以检测用户的话语并且捕获用户正在浏览的计算装置的相应的图像。计算装置处理话语以生成由计算装置的用户所说出的话语的转录。计算装置将转录和图像发送到服务器。

服务器从计算装置接收转录和图像。服务器可以识别图像中的视觉和文本内容。服务器生成图像的标签，该标签对应于图像的内容，诸如位置、实体、名称、动物类型等。服务器可以识别图像中的特定子图像。特定子图像可以是照片或者图画。在一些方面，服务器识别特定子图像的用户可能主要感兴趣的部分(诸如图像中的古迹)。服务器可以在特定子图像上进行图像识别，以生成特定子图像的标签。服务器还可以通过在图像的除了特定子图像之外的部分上进行文本识别来生成图像中的文本内容的标签(诸如对应于特定子图像的注释)。服务器可以基于接收的转录和生成的标签来生成搜索查询。另外，服务器可以配置为向搜索引擎提供用于输出的搜索查询。

本说明书中描述的主题的一个创新方面以方法实现，该方法包含以下动作：接收在计算装置的显示器的至少一部分上呈现的图像或者对应于计算装置的显示器的至少一部分的图像，以及接收由计算装置的用户所说出的话语的转录或者与由计算装置的用户所说出的话语相对应的转录(通常在呈现图像的同时)，识别包含在图像中的特定子图像，以及基于在特定子图像上进行图像识别来确定一个或多个第一标签，该一个或多个第一标签指示特定子图像的情景。该方法还包含基于在图像的除了特定子图像之外的部分上进行文本识别来确定指示特定子图像的情景一个或多个第二标签，基于转录、第一标签和第二标签来生成搜索查询，以及提供搜索查询用于输出。

这些方法步骤或者如本文所描述的步骤的其他组合可以自动实行并且无需进一步的用户介入，例如响应于计算装置的自动判断方法应该在特定时间实行，或者跟随来自计算装置的用户的特定的按钮按压、所说出的命令或其他指示，来实行这个方法。本文描述的方法因此可以通过减少需要用户的输入，给用户提供更为有效的用户界面，以获得期望的或者令人满意的搜索查询生成。

该方面和其他方面的其他实施方式包含对应的系统、设备和计算机程序，其配置为进行在计算机存储装置上编码的该方法的动作。