[发明专利]与话音参考点的协同言语交互

说明书

背景技术

计算设备持续以令人惊讶的速率激增。截至2014年九月，大概存在具有触敏屏的二十亿台智能电话和平板电脑。这些设备中的大多数具有内置麦克风和相机。用户以许多变化且令人感兴趣的方式与这些设备交互。例如，三维（3D）触摸或悬停传感器能够在用户手指或实现物（例如，笔、触笔）靠近或触摸设备的屏幕时检测它们的存在、位置和角度。关于用户手指的信息可以促进标识出用户正引用的屏幕上的对象或位置。即便使用触摸屏与设备交互的丰富性，但是与设备进行通信可能仍然是不自然或者困难的尝试。

在人类与人类的世界中，与其他人类的有效交流牵涉多个同时模态，包括例如话音、眼神接触、做手势、身体语言、声调或变音，所有这些可以取决于针对其含义的上下文。尽管人类同时使用多个模态与其他人类交互，但是人类往往每次使用单个模态与其设备交互。仅使用单个模态可能限制用户的表达能力。例如，与设备的一些交互（例如，导航快捷键）仅使用话音完成，而其它交互（例如，滚动）仅使用手势完成。当在常规设备上使用话音命令时，受限的上下文可能要求用户说出已知的冗长命令或者参与繁琐的来回对话，这二者都可能是不自然或受限的。具有双重结果的单个模态输入可能抑制了解如何与接口交互，因为用户可能害怕不小心做了不可撤销的事情。

发明内容

提供该发明内容来以简化形式引入以下在具体实施方式中进一步描述的概念的选择。该发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。

示例装置和方法通过组合话音与其它输入模态（例如，触摸、悬停、手势、凝视）而在针对人类与设备的交互的常规方案之上进行改进以创建更高效、更自然且更吸引人的多模态交互。组合话音外加另一模态的这些多模态输入可以称为“协同言语”交互。多模态交互扩展用户对于设备的表达能力。为了支持多模态交互，用户可以使用经优先化或排序的输入的组合来建立话音参考点。可以提供关于话音参考点的建立或位置的反馈以进一步改进交互。协同言语交互然后可以发生在话音参考点的上下文中。例如，用户可以同时说话和做手势以指示所说出的词语针对哪里。更具体地，通过能够与话音并发地或者顺序地使用多种类型的输入来标识他们在谈论什么，用户可以与设备交互得更像他们在与人交谈。

示例装置和方法可以促进协同言语交互，其组合话音与其它输入模态以加速任务并且增加用户在任何单个模态之上的表达能力。协同言语交互针对与话音参考点相关联的（多个）对象。协同言语交互可以例如是命令、口述、会话交互或其它交互。话音参考点可以在复杂度方面从单个离散参考点（例如，单个触摸点）变化到多个同时参考点到顺序参考点（单个触摸或多点触摸），一直到与例如手势相关联的类似参考点。当建立话音参考点时，可以表面化上下文用户接口元件。

附图说明

附图图示了本文描述的各种示例装置、方法和其它实施例。将领会到，在图中图示的元件边界（例如，框、框组或其它形状）表示边界的一个示例。在一些示例中，一个元件可以被设计为多个元件，或者多个元件可以被设计为一个元件。在一些示例中，示为另一元件的内部组件的元件可以被实现为外部组件，并且反之亦然。此外，元件可能没有按照比例绘制。

图1图示了处置与话音参考点的协同言语交互的示例设备。

图2图示了处置与话音参考点的协同言语交互的示例设备。

图3图示了处置与话音参考点的协同言语交互的示例设备。

图4图示了处置与话音参考点的协同言语交互的示例设备。

图5图示了和处置与话音参考点的协同言语交互相关联的示例方法。

图6图示了和处置与话音参考点的协同言语交互相关联的示例方法。

图7图示了其中可以做出与话音参考点的协同言语交互的示例云操作环境。

图8是描绘了可以支持处置与话音参考点的协同言语交互的示例性移动通信设备的系统图。

图9图示了用于处置与话音参考点的协同言语交互的示例装置。

图10图示了用于处置与话音参考点的协同言语交互的示例装置。

图11图示了具有触摸和悬停敏感性的示例设备。

图12图示了可以使用与话音参考点的协同言语交互来改进的示例用户接口。

具体实施方式