[发明专利]用于对视觉查询作出响应的体系结构

说明书

技术领域

所公开的实施例一般地涉及包括用于处理视觉查询的多个并行搜索系统的服务器系统体系结构。

背景技术

基于文本或基于词语的搜索，其中用户将词或短语输入到搜索引擎中并且接收各种结果，是用于进行搜索的有用工具。然而，基于词语的查询要求用户能够输入相关词语。有时，用户可能希望知道关于图像的信息。例如，用户可能想要知道照片中的人的名字，或用户可能想要指定图片中的花或鸟的名称。因此，能够接收视觉查询并且提供搜索结果的系统将是期望的。

发明内容

根据一些实施例，存在在服务器系统处处理视觉查询的计算机实现的方法。从客户端系统接收视觉查询。通过将视觉查询发送给多个并行搜索系统以供同时处理来对视觉查询进行处理。多个搜索系统中的每一个实现多个视觉查询搜索过程中的不同视觉查询搜索过程。多个视觉查询搜索过程至少包括：光学字符识别(OCR)、面部识别以及不同于OCR和面部识别的第一按图像查询过程。从多个并行搜索系统中的一个或多个接收多个搜索结果。将多个搜索结果中的至少一个发送给客户端系统。

在一些实施例中，该方法进一步包括：当接收到的搜索结果中的至少两个满足预定义标准时，对满足预定义标准的接收到的搜索结果进行排名；以及将排名的搜索结果中的至少一个搜索结果发送给客户端系统。

在一些实施例中，第一按图像查询过程是产品识别、条形码识别、对象或对象类别识别、命名实体识别或颜色识别。

在一些实施例中，视觉查询是照片、截屏、扫描的图像或视频帧。客户端系统可以是移动设备、台式设备或其他设备。

在一些实施例中，从客户端系统执行的客户端应用，诸如搜索应用、用于浏览器应用的搜索引擎插件或用于浏览器应用的搜索引擎扩展，接收视觉查询。在一些实施例中，从客户端系统执行的内容创作应用接收视觉查询。

在一些实施例中，当视觉查询是包含文本元素和非文本元素的图像时，搜索结果包括关于文本元素的光学字符识别结果和关于非文本元素的至少一个图像匹配结果。

在一些实施例中，当视觉查询是包含文本元素和非文本元素的图像时，搜索结果包括交互式结果文档，其包括带有到光学字符识别过程所产生的搜索结果的链接的关于文本元素的第一视觉标识符，以及带有到图像匹配过程所产生的搜索结果的链接的关于非文本元素的第二视觉标识符。

在一些实施例中，该方法进一步包括：将多个搜索结果中的至少两个组合成复合搜索结果。

根据一些实施例，提供了用于处理视觉查询的搜索引擎系统。该系统包括用于执行程序的一个或多个中央处理单元和存储待由该一个或多个中央处理单元执行的一个或多个程序的存储器。该一个或多个程序包括用于执行下述的指令。从客户端系统接收视觉查询。通过将视觉查询发送给多个并行搜索系统以供同时处理来对视觉查询进行处理。多个搜索系统中的每一个实现多个视觉查询搜索过程中的不同视觉查询搜索过程。多个视觉查询搜索过程至少包括：光学字符识别(OCR)、面部识别以及不同于OCR和面部识别的第一按图像查询过程。从多个并行搜索系统中的一个或多个接收多个搜索结果。将多个搜索结果中的至少一个发送给客户端系统。这样的系统还可以包括用来执行上述另外选项的程序指令。

根据一些实施例，提供了用于处理视觉查询的计算机可读存储介质系统。该计算机可读存储介质存储被配置成由计算机执行的一个或多个程序，该一个或多个程序包括用于执行下述的指令。从客户端系统接收视觉查询。通过将视觉查询发送给多个并行搜索系统以供同时处理来对视觉查询进行处理。多个搜索系统中的每一个实现多个视觉查询搜索过程中的不同视觉查询搜索过程。多个视觉查询搜索过程至少包括：光学字符识别(OCR)、面部识别以及不同于OCR和面部识别的第一按图像查询过程。从多个并行搜索系统中的一个或多个接收多个搜索结果。将多个搜索结果中的至少一个发送给客户端系统。这样的计算机可读存储介质还可以包括用来执行上述的另外选项的程序指令。

附图说明

图1是图示包括视觉查询服务器系统的计算机网络的框图。

图2是图示与一些实施例一致的用于对视觉查询作出响应的过程的流程图。

图3是图示与一些实施例一致的用于用交互式结果文档对视觉查询作出响应的过程的流程图。

图4是图示与一些实施例一致的在客户端和视觉查询服务器系统之间的通信的流程图。

图5是图示与一些实施例一致的客户端系统的框图。

图6是图示与一些实施例一致的前端视觉查询处理服务器系统的框图。