[发明专利]多模态响应

说明书

本文涉及多模态响应，尤其公开了用于在动态生成针对客户端设备的当前模态而定制的客户端设备输出中使用多模态响应的系统、方法和装置。多模态客户端设备可以进行跨多模态谱的各种交互，所述交互包括仅语音交互、语音主导交互、多模态交互、视觉主导交互、仅视觉交互等。多模态响应可以包括：要针对全部交互类型被渲染的核心消息以及用于向用户提供附加信息的一个或多个取决于模态的组成部分。

技术领域

本公开涉及多模态响应，更具体地涉及用于在动态生成针对客户端设备的当前模态所定制的客户端设备输出中使用多模态响应的系统、方法和装置。

背景技术

自动化助理(也称为“个人助理”、“移动助理”等)可以在多模态客户端设备上和/或在诸如经由网络连接到多模态客户端设备的“云”中的计算设备的一个或多个远程计算设备上实现。多模态客户端设备可以向用户提供与设备的多种模式的交互。更具体地，多模态设备具有可用于用户向设备输入数据的若干模式和/或可用于设备向用户渲染输出的若干模式。

例如，对多模态设备的用户输入可以包括口述输入(例如用户说话)、文本输入(例如用户在键盘上键入、用户在触敏屏幕上录入文本等)、手势输入(例如用户手部动作、用户注视、用户头部运动等)、触觉输入(例如向客户端设备施加各种力，诸如挤压客户端设备、拿起客户端设备、摇动客户端设备、以特定定向放置客户端设备等)以及其他类型的输入(例如按下客户端设备上的物理按钮、使用鼠标点击用户界面中的按钮、使用鼠标执行动作——诸如使用鼠标滚轮向上和/或向下移动屏幕上的信息等)等。相似地，多模态设备可以以许多方式向用户渲染输出，所述许多方式包括音频输出(例如使用扬声器生成输出以便用户收听)、视觉输出(例如在屏幕上显示文本、图像、视频等，客户端设备上的灯亮灭闪光，改变设备上的灯的颜色等)、触觉输出(例如使客户端设备振动)等。

发明内容

本文关于用于在动态生成针对客户端设备的当前模态所定制的客户端设备输出中使用多模态响应的系统、方法和装置。客户端设备的当前模态可以是多模态谱内的多个候选模态中的一个并且可以指示将利用的用户接口输入和/或客户端设备输出的当前方法。在一些实施方式中，候选模态的多模态谱包括仅语音(voice only)交互、语音主导(voiceforward)交互、多模态交互(也称为“模态间(intermodal)交互”)、视觉主导(visualforward)交互、仅视觉(visual only)交互等。客户端设备可以利用一个或多个模态，例如客户端设备利用仅语音交互、语音主导交互、多模态交互和仅视觉交互。在一些实施方式中，客户端设备的当前模态可以基于来自客户端设备的一个或多个传感器的传感器数据和/或基于经由客户端设备的用户的用户接口输入的对模态的选择来确定。例如，多模态客户端设备可以使用来自一个或多个传感器的传感器数据来确定多模态客户端设备的当前模态，所述一个或多个传感器诸如相机、惯性测量单元(“IMU”)、陀螺仪、定位系统(例如全球定位系统(“GPS”)、麦克风，接近传感器、压力传感器等。

客户端设备可以使用其模态以及各种其他信息，通过选择与当前客户端设备模态相对应的多模态响应的一个或多个部分来使用多模态响应，动态地生成客户端输出，所述各种信息包括：用户接口输入、用户接口输入的一个或多个模态、客户端设备的类型、客户端设备的位置、用户相对于客户端设备的位置等。根据许多实施方式，多模态响应可以包括核心消息以及取决于模态的附加信息。