[发明专利]使用多模式界面以利于口头命令的发现

说明书

本公开的实施例涉及使用多模式界面以利于口头命令的发现。一种用于生成和呈现口头命令建议以利于能够被理解的命令的可发现性并支持用户探索可用命令的框架。与直接操纵输入相关联的目标经由多模式用户界面从用户处被接收。与目标相关的操作集合被选择，并且与所选的操作集合和所确定目标相关的口头命令建议被生成。已生成的口头命令建议的至少一部分被提供，以便在三种界面变体之一中与多模式用户界面相关联的呈现：一个变体将命令建议呈现为列表；一个变体使用上下文覆盖窗口来呈现命令建议；以及一个变体呈现嵌入在界面内的命令建议。所提出的每个界面变体利于用户意识到能够被执行的口头命令，并教导用户可用口头命令可以如何被调用。

技术领域

本公开的实施例涉及语音界面，更具体地涉及使用多模式界面生成和呈现口头命令建议。

背景技术

对于基于语音界面的用户而言，适当的口头命令的可发现性(意识和理解)代表了长期挑战。事实上，就可发现性而言，指的是用户不知道哪些口头命令可用(意识)和/或如何用措辞表达命令以便这些命令将被支持界面的系统理解(理解)，当其成为基于语音界面的用户所面临的障碍时，是仅次于语音识别准确性的问题。用户通常最终猜测他们认为支持系统可能会识别和/或使用他们习惯于使用的、但系统可能无法理解的惯用语或白话的口头命令，两者通常都会导致执行错误和挫折。

解决这些可发现性挑战的一种方法是，系统为用户提供示例性命令的列表作为入门(onboarding)体验的一部分，因为这是让用户接触由基于语音的系统支持的操作和命令的自然时机。然而，当用户未参与任何特定任务或动作时在入门期间呈现的此类列表通常在被透彻地、完全地回顾之前已被用户关闭。即使用户透彻的回顾了示例性命令列表，所呈现的命令通常在用户参与动作或任务时尝试采用命令时也被忘记。

为了使用户意识到新支持的和/或不经常使用的命令，一些解决方案向用户发送通知，以提醒他们可用命令或新命令何时可用。类似地，一些解决方案向用户每周发送电子邮件，其包括可用命令提醒和更新。然而，仅周期性地呈现示例性命令建议是不够的，因为用户倾向于在他们参与利用基于语音系统执行动作和/或任务时忘记这些命令。

发明内容

本公开的实施例尤其涉及用于生成和呈现口头命令的示例以利于由支持多模式界面的系统理解的相关口头命令的可发现性的框架。本文所述的框架还允许用户逐步探索可用口头命令。当非口头(例如直接操纵)输入被使用时，所描述的框架通过提供示例性口头命令建议来实现命令可发现性。与经由多模式用户界面从用户接收的直接操纵输入(例如，触摸输入、键盘输入或鼠标输入)相关联的目标被确定，并且与目标相关的一个或多个示例性口头命令建议被生成。所生成的口头命令建议的至少一部分被提供，以用于利用三个界面变体之一与多模式用户界面相关联的呈现。这些变体包括使用基于列表的方法呈现口头命令建议的界面、使用上下文覆盖层窗口呈现口头命令建议的界面以及呈现嵌入在GUI内的口头命令建议的界面(“图形用户界面”)。所提出的每个界面变体利于用户意识到支持多模式界面的系统能够执行的口头命令，并且同时教导用户可用口头命令可以如何被调用(例如，适当的措辞变体和多模式交互)。

提供本发明内容以简化形式介绍一些概念，这些概念将在下面的详细描述中进一步描述。本发明内容既不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

附图说明

下面参考附图详细描述本发明，其中：

图1是图示了根据本公开的实现的命令建议生成框架的高级别概述的示意图；

图2是图示了根据本公开的实现的用于利于在多模式用户界面中的口头命令的发现的示例性系统的框图；

图3是图示了根据本公开的实现的与当目标涉及图像编辑时可以被选择的操作集合相关联的措辞模板的示例性列表的示意图；

图4是图示了根据本公开的实现的穷举界面的示例性屏幕显示；