[发明专利]情景地消除查询的歧义

权利要求书

1.一种计算机实现的方法，包括：

接收在计算装置的显示器上呈现的图像和由所述计算装置的用户所说出的话语的转录；

识别包含在所述图像中的特定子图像；

基于在所述特定子图像上进行图像识别，确定一个或多个第一标签，所述一个或多个第一标签指示所述特定子图像的情景；

基于在所述图像的除了所述特定子图像之外的区域上进行文本识别，确定一个或多个第二标签，所述一个或多个第二标签指示所述特定子图像的情景；

基于所述转录、所述第一标签和所述第二标签，生成搜索查询；以及

提供所述搜索查询用于输出。

2.如权利要求1所述的方法，其中，生成所述搜索查询包括以所述第一标签或者所述第二标签中的一个或多个替换所述转录的术语。

3.如前述权利要求中任一项所述的方法，包括：

为所述第一标签和所述第二标签中的每一个生成标签置信度，所述标签置信度指示所述标签对应于所述特定子图像的用户主要感兴趣的部分的可能性；以及

基于所述相应的标签置信度，选择所述第一标签和所述第二标签中的一个或多个，

其中，基于一个或多个所选择的第一标签和第二标签，生成所述搜索查询。

4.如前述权利要求中任一项所述的方法，其中，生成搜索查询包括：

存取历史查询数据，所述历史查询数据包含由其他用户提供的先前的搜索查询；

基于所述转录、所述第一标签和所述第二标签，生成一个或多个候选搜索查询；

将所述历史查询数据与所述一个或多个候选搜索查询相比较；以及

基于将所述历史查询数据与所述一个或多个候选搜索查询相比较，从所述一个或多个候选搜索查询中选择所述搜索查询。

5.如权利要求1至3中任一项所述的方法，还包括：

基于所述转录、所述第一标签和所述第二标签，生成一个或多个候选搜索查询；

为所述一个或多个候选搜索查询中的每一个确定查询置信度，所述查询置信度指示所述候选搜索查询是所述转录的准确重写的可能性；以及

基于所述查询置信度，选择特定候选搜索查询作为所述搜索查询。

6.如前述权利要求中任一项所述的方法，其中，识别包含在所述图像中的所述特定子图像包括：

识别包含在所述图像中的一个或多个子图像；

为包含在所述图像中的所述一个或多个子图像中的每一个生成图像置信度，所述图像置信度指示子图像为用户主要感兴趣的可能性；以及

基于所述一个或多个子图像的图像置信度，选择所述特定子图像。

7.如权利要求1至5中任一项所述的方法，其中，识别包含在所述图像中的所述特定子图像包括在所述计算装置处接收数据，所述数据指示控制事件的选择，所述控制事件识别所述特定子图像。

8.如前述权利要求中任一项所述的方法，其中，所述计算装置配置为响应于检测到预定的热词来捕获所述图像并捕获对应于所述话语的音频数据。

9.如前述权利要求中任一项所述的方法，包括：

接收附加图像和由所述计算装置的用户所说出的附加话语的附加转录，所述附加图像对应于所述计算装置的所述显示器的至少另一部分；

识别包含在所述附加图像中的附加特定子图像；

基于在所述附加特定子图像上进行图像识别，确定一个或多个附加第一标签，所述一个或多个附加第一标签指示所述附加特定子图像的情景；

基于在所述附加图像的除了所述附加特定子图像之外的部分上进行文本识别来确定一个或多个附加第二标签，所述一个或多个附加第二标签指示所述附加特定子图像的情景；

基于所述附加转录、所述附加第一标签和所述附加第二标签来生成命令；以及

执行所述命令。