[发明专利]使用多模态信号分析进行命令处理

说明书

在时间间隔期间从个体收集与第一信号模态(诸如，注视的所述方向)相对应的第一组信号。还收集与不同信号模态(诸如，由所述个体作出的手指向姿态)相对应的第二组信号。响应于命令，其中所述命令不识别所述命令所指向的特定对象，所述第一组信号和所述第二组信号用于识别所关注的候选对象，并且执行与从所述候选对象中选定对象相关联的操作。

技术领域

本公开整体涉及被设计用于检测和响应自然人类移动和会话查询的系统，并且更具体地涉及被设计用于识别个体所关注的实体并对其采取动作的系统，识别方法是利用从若干类型信号(诸如，姿态和注视方向)的组合得到的可能不精确的提示。

背景技术

若干系统(包括一些计算机游戏系统)已经实现检测特定类型的人类姿态或移动的技术。然而，在许多情况下，这些系统中对移动和语音的解释通常限于非常特定的领域(诸如，正在播放的特定游戏，或需要握在手中的特定输入设备的移动)和位置(例如，与系统交互的个体可能必须位于单个房间中的特定相机角度范围内)。尽管一些虚拟现实系统可使得用户能够沉浸在选定环境中，但可在此类系统内使用自然人类行为以用于一般目的的程度也受到最大的限制。

发明内容

本发明描述了用于使用多模态信号分析来处理个人的(例如，以自然语言表达的)命令和查询的方法和装置的各种实施方案。在至少一些实施方案中，该方法可包括在至少特定时间间隔期间获取与第一信号模态(例如，个体注视的方向)相对应的第一组信号。该方法还可包括获取与不同信号模态(诸如，手指向姿态或头部移动诸如点头)相对应的第二组信号。在一些实施方案中，获取的数据组中的一者或两者可包括定时信息，例如，数据组中可指出作出各种姿态或注视方向保持稳定一段时间的特定时间。响应于命令，例如来自个体的口头命令，该命令未明确地、决定性地或最终地识别命令所指向的目标对象，该方法可包括利用第一数据组和/或第二数据组来识别所关注的一个或多个候选对象以及使得执行与一个或多个候选对象中的选定对象相关联的操作。在至少一些实施方案中，在至少某个时间段内，与模态中的一者或多者相对应的有用信号数据可能丢失，在这种情况下，可利用可用数据来识别候选对象。例如，在注视和姿态为选择的模态的实施方案中，如果在某个时间段内注视信号不可用但姿态信号可用，则可使用姿态信号(反之亦然)。如果在与命令相关联的某个时间段内注视数据和姿态数据均不可用，但个体的外部环境的视频可用，则可在没有任何定向性特征的情况下尽最大努力仅根据视频来识别所关注的候选对象。在一些实施方案中，命令可以除语音或声音之外的模态来表达：例如，经由手语或使用触摸屏界面。一般来讲，在各种实施方案中使用的技术可涉及响应命令或查询来分析与各种信号模态中的任一者相对应的信号，并且不限于特定模态诸如姿态、注视或语音。

如本文所用，术语对象通常可指无生命的事物、有生命的实体(包括例如动物、人或植物)和/或地点，其中任一者均可表示命令所指向的目标。在一些情况下，操作可简单地包括命名选定对象—例如，如果命令包括语音查询“那曾是什么？”，则响应可包括通过产生语音响应诸如“那曾是美洲驼”来提供名称或标识符。在其他情况下，可执行更复杂的操作—例如，响应于被配备为自动停放的汽车中的个体发布的命令“停放在那里”，该方法可包括识别与字词“那里”相对应的停车位以及在识别的停车位处发起车辆的停放。一般来讲，在各种实施方案中，可基于对自然移动和自然语言的分析来识别目标对象或地点并对其采取动作，而不需要个体使用受限的一组界面。不精确的语言，诸如包括“这”或“那”的指示代词或相对地点的副词诸如“这里”或“那里”可用于各种实施方案中的命令中，并且计算设备处理命令的责任之一可包括以一定的准确度和及时性水平识别命令所指向的非精确指示的对象。