[发明专利]针对移动屏上内容提供自动动作

说明书

实施方式提供了一种用于发起与用户正在移动设备上查看的内容相关的动作的接口。一种方法包括对从移动设备的显示捕捉的内容执行辨识以及在所述内容中识别多个实体。所述方法可以包括：针对所述多个实体中的每一个发出查询、基于搜索结果来对所述多个实体进行排名、针对排名最高的实体中的至少一些实体来生成动作卡片、以及提供所述动作卡片以用于显示在所述移动设备上。替选地或另外地，所述方法可以包括确定：在联系人数据存储中与实体相对应的至少一个联系人，以及针对所述实体来生成动作卡片，所述动作卡片具有使用来自所述联系人数据存储的第一信息的第一动作以及使用来自所述联系人数据存储的第二信息的第二动作。

相关申请的交叉引用

本申请要求于2014年8月21日提交的、题为“PROVIDING AUTOMATIC ACTIONS FORMOBILE ONSCREEN CONTENT(针对移动屏上内容提供自动动作)”的美国非临时专利申请No.14/465,265的优先权并且是其继续申请，其通过引用全部并入本文。

背景技术

移动设备——诸如智能电话和平板计算机的使用一直在增加。但是在移动环境中在应用之间导航可以是冗杂的，因为移动应用一般执行特定功能并且通常不交互。此外，移动应用能够在它们提供的特征上显著地不同，并且因为外部输入设备的有限屏幕大小和有限使用，导航能够易于出错的并且相对费时。

发明内容

实施方式提供了界面，该界面允许移动设备的用户快速且容易地执行与该用户在该移动设备上当前正查看的内容相关的各种动作。例如，所述系统可以在被显示在移动设备上的屏幕中识别实体并且提供界面以用于针对每个实体发起动作、以及显现关于所述实体的信息的摘录。所述实体可以包括知识库——诸如知识图中的人、地点、或事物，或者可以是在所述移动设备本地或者对其远程但与所述用户相关联的数据存储中的联系人。所述系统可以对所述实体进行排名以确定与所述用户最相关的那些实体并且针对最相关的经排名实体来生成具有建议动作的动作卡片。针对实体的所述动作卡片中提供的所述动作以及显示在所述动作卡片中的任何信息可以取决于针对所述实体的搜索结果。

根据本公开的某些方面，一种方法包括：对从移动设备的显示捕捉的内容执行辨识；在所述内容中识别多个实体；以及针对所述多个实体中的每一个发出相应查询。所述方法还包括：基于针对所述相应查询所返回的搜索结果，对所述多个实体进行排名；针对排名最高的实体中的至少一些实体，生成相应的动作卡片；以及提供所述动作卡片以用于向所述移动设备的用户显示。

根据另一方面，一种系统包括：至少一个处理器；经索引文档语料库(corpus)；基于图的数据存储；以及存储指令的存储器，所述指令在由所述至少一个处理器执行时，使得所述系统执行操作。所述操作可以包括：对从移动设备的显示捕捉的内容执行辨识，以及在所述内容中识别多个实体。针对所述多个实体中的每一个，所述操作还可以包括向搜索引擎发出针对所述实体的相应查询，所述搜索引擎搜索所述基于图的数据存储和所述经索引文档语料库以针对所述实体来生成搜索结果。所述操作还可以包括：基于所述搜索结果对所述多个实体进行排名，以及将所述多个实体与相应的排名和搜索结果一起提供给所述移动设备，所述移动设备针对使用所述相应搜索结果所生成的排名最高的实体中的至少一些来生成动作卡片。

在另一方面，一种系统包括：联系人数据存储；至少一个处理器；以及存储指令的存储器，所述指令在由所述至少一个处理器执行时，使得所述系统执行操作。所述操作可以包括：对显示在移动设备的显示器上的内容执行辨识、在所述内容中识别实体、以及确定在所述联系人数据存储中与所述实体相对应的至少一个联系人。所述操作还可以包括：针对所述实体来生成动作卡片，所述动作卡片具有使用针对所述联系人的、来自所述联系人数据存储的第一信息的第一动作以及使用针对所述联系人的、来自所述联系人数据存储的第二信息的第二动作；以及将所述动作卡片显示在所述显示器上。

在另一方面，包含在计算机可读存储设备上的计算机程序产品包括指令，所述指令在由形成在基底中的至少一个处理器来执行时，使得计算设备执行本文中所公开的经公开方法、操作、或过程中的任何一个。