[发明专利]基于姿势的视觉搜索

权利要求书

1.一种系统，包括：

一个或多个处理器；

存储器，通信地耦合到所述一个或多个处理器，所述存储器存储指令，当所述指令被所述一个或多个处理器执行时，配置所述一个或多个处理器执行以下动作，包括：

从客户机接收图像；

将所述图像分割成多个片段；

将经分割的图像的至少一部分发送给所述客户机；

从所述客户机接收所述多个片段中的一个或多个所选片段；以及

响应于从所述客户机接收到所述一个或多个所选片段，基于所述一个或多个所选片段来表述查询。

2.如权利要求1所述的系统，其特征在于，所述动作还包括：

接收所述图像的上下文信息；和/或

从所述客户机接收所述图像中的感兴趣对象的类型信息。

3.如前述任一项权利要求所述的系统，其特征在于，表述查询包括：

识别所述一个或多个所选片段中的对象，基于所述一个或多个所选片段中的识别出的对象来表述所述查询；

从所述一个或多个所选片段中提取特征，基于被提取的特征确定来自词汇树的视觉字，以及基于所确定的视觉字来表述所述查询；和/或

识别所述一个或多个所选片段中的文本，以及基于识别出的文本来表述所述查询。

4.如前述任一项权利要求所述的系统，其特征在于，分割图像包括：

基于所述图像的颜色来分割所述图像；和/或

基于从所述客户机接收到的所述图像中的感兴趣对象的类型信息来分割所述图像，其中基于接收到的类型信息来分割所述图像包括：

识别具有根据来自所述图像的接收到的类型信息的类型的一个或多个对象；

将所述一个或多个对象与所述图像分割开来；以及

将所述一个或多个对象呈现为所述多个片段。

5.一种方法，包括：

在配置有可执行指令的一个或多个处理器的控制下：

将图像显示在客户机设备的显示器上，所述图像包括多个片段；

接收从所述多个片段中选择一个或多个片段的选择姿势；

基于所述一个或多个所选片段来实例化搜索查询。

6.如权利要求5所述的方法，其特征在于，还包括接收所述图像的上下文信息，其中实例化所述搜索查询进一步基于所述图像的上下文信息。

7.如前述任一项权利要求所述的方法，其特征在于，还包括：

将所述搜索查询发送到搜索引擎；以及

从所述搜索引擎接收搜索结果。

8.如前述任一项权利要求所述的方法，其特征在于，还包括在显示所述图像之前：

在所述客户机设备处将所述图像分割成多个片段；

将所述图像提供给基于姿势的视觉搜索系统进行分割，以及从所述基于姿势的视觉搜索系统接收所述图像的所述多个片段；和/或

通过以下动作来获得所述图像：

通过所述客户机设备的相机来捕捉所述图像；

通过所述客户机设备的照片应用选择所述图像；或者

从存储在所述客户机设备上或者所述客户机设备可访问的介质选择所述图像。

9.如前述任一项权利要求所述的方法，其特征在于，接收所述选择姿势包括：接收对所述客户机设备的用户界面的一个或多个触摸输入，所述一个或多个触摸输入与所述一个或多个所选片段相对应，或者接收框住或基本框住所述一个或多个所选片段的框选姿势。

10.一个或多个配置有计算机可执行指令的计算机可读介质，当所述计算机可执行指令被一个或多个处理器执行时，配置所述一个或多个处理器以执行以下的动作，包括：

从客户机接收图像以及与所述图像相关联的上下文信息；

基于与所述图像相关联的上下文信息将所述图像分割成多个片段；

将经分割的图像以所述多个片段的形式返回给所述客户机；

从所述客户机接收对所述多个片段中的一个或多个片段的选择；

基于所述一个或多个所选片段以及与所述图像相关联的上下文信息来表述搜索查询；

使用所述搜索查询来执行搜索以获得搜索结果；

以及

将所述搜索结果返回给所述客户机。