[发明专利]用于实现分布式多模式应用的方法和设备

说明书

分案说明

本申请是国际申请日为2008年12月19日、国际申请号为PCT/US2008/087802的PCT国际申请的、进入中国国家阶段的国家申请号为200880123620.7、题为“用于实现分布式多模式应用的方法和设备”的专利申请的分案申请。

技术领域

本发明主题总体上涉及分布式应用，尤其涉及在客户端-服务器系统环境中实现的分布式多模式应用。

背景技术

用户界面“模式（modality）”可被定义为用户和电子装置之间交互的方式，其中交互是通过装置的用户界面实现的。用户界面模式可通过与特定类型的人类可感知信息（例如，可通过视觉、声音或触摸感知的信息）和/或人类所生成的信息（例如，通过话音或其它物理动作所生成的信息）相关联的硬件和软件的组合来实现。例如，一种类型的用户界面模式为“视觉模式”，其可以通过显示屏以及用于在显示屏上生成视觉显示的相关联硬件和软件来实现。视觉模式还可以使用各种促进用户与视觉显示进行交互的输入装置来实现，诸如使得用户能够（例如，使用滚动机制、触摸屏或箭头按键）选择视觉显示中所呈现信息、（例如，使用键盘）向视觉显示的区域中输入信息和/或将视觉显示的焦点从一个区域改变为另一区域的输入装置。另一种类型的用户界面模式为“语音模式”，其可以使用麦克风、扬声器以及适于接收人类话音并对其进行数字化和/或输出音频信息（例如，音频提示或其它音频信息）的相关联硬件和软件来实现。其它类型的用户界面模式包括例如手势模式和笔模式，仅给出两个示例。

为了通过“单模式”装置提供改善的使用性，许多电子装置包括“多模式”用户界面，这是提供多于一种的用户界面模式的用户界面。例如，电子装置可提供视觉模式和语音模式。这样的装置例如可以同时输出视觉信息（例如，所显示信息）和相关联的音频信息（例如，音频提示），和/或装置可使得用户能够按照用户需要通过话音、键盘或其二者来输入信息。通常，具有多模式用户界面的装置提供改善的用户体验，原因在于用户可以选择他或她与装置进行交互的模式。例如，在用户希望不使用手进行交互的情况下，诸如当打字过于耗时和/或当用户（例如，由于关节炎和其它一些身体缺陷）永久性或者在某些情况下（例如，在用户戴着手套和/或用户的手上有其它任务时）被造成不便时，可能希望使用语音模式的交互。相反，例如在要呈现复杂信息的情况下，在需要听觉隐私时，在存在噪声约束时和/或在存在（例如当用户具有严重口音、讲话障碍和/或听力受损时）永久性或在某些情况下（例如，在存在明显背景噪声或噪声约束时）听觉约束时，可能希望使用视觉模式的交互。

多模式用户界面可以连同在联网环境（例如，客户端-服务器系统环境）中操作的应用一起实现。在这样的情况下，用户与客户端装置（例如，蜂窝电话或计算机）上的多模式用户界面进行交互，并且客户端装置通过网络与一个或多个其它装置或平台（例如，服务器）进行通信。在这样的联网环境中，已经实现了两种基本技术来设计支持多模式用户界面的客户端-服务器系统部件，尤其是支持适于至少提供视觉和语音模式的用户界面的系统部件。使用“嵌入式”技术，基本上所有与多种模式相关联的必要硬件和软件都包括在客户端装置自身之中。例如，客户端装置可以包括适于执行音频相关任务的软件和硬件，除其它之外，音频相关任务诸如话音处理、话音识别和/或话音合成。通常，这样的音频相关任务需要特殊处理器或处理引擎（例如，数字信号处理器）和相当数量的存储器（例如，用于存储与音频相关任务相关联的表和软件）。使用“分布式”技术，与一个或多个模式相关联的一些处理可以被转换到另一处理部件，诸如远程服务器。例如，当用户讲话时，音频数据可以从客户端装置发送到远程服务器，并且远程服务器可以执行一些或全部音频相关任务并且向客户端装置返回数据、错误消息和/或处理结果。

每种技术都具有其优势和缺点。例如，如刚刚提到的，一些常规分布式技术的优势在于与多模式用户界面相关联的一些计算密集处理（例如，音频相关任务）可从客户端装置转换出来到另一个处理部件（例如，远程服务器）。因此，客户端装置可以不包括专门的处理器或处理引擎（例如，数字信号处理器）以及额外的存储器以便实现从客户端装置所转移的任务。这意味着可以以比实现嵌入式技术的客户端装置更为成本有效的方式来设计客户端装置（例如，该装置可被设计为“瘦”客户端）。