[发明专利]移动装置上的模态学习

说明书

本申请涉及移动装置上的模态学习。公开了包括在计算机存储介质上编码并用于移动装置中的交叉输入模态学习的计算机程序的方法、系统和设备。在一个方案中，一种方法包括激活第一模态用户输入模式，其中使用第一模态识别器来识别通过第一模态的方式实现的用户输入；和通过所述第一模态的方式接收用户输入。该方法包括，作为所述第一模态识别器识别用户输入的结果而获得包括特定词项的转录；以及生成至少引用所述特定词项的输入场境数据结构。该方法进一步包括，通过第一模态识别器将输入场境数据结构传输给第二模态识别器，以用于更新与第二模态识别器相关联的第二模态识别模型。

技术领域

本申请涉及移动装置上的模态学习。

背景技术

智能电话和移动计算装置被配置为支持语音打字，当用户激活移动装置的麦克风功能时，可以开启语音打字。通常，移动计算装置可包括至少两种输入法编辑器(IME)，即键盘或文本IME以及语音或言语IME。文本IME支持数字文本的物理输入和显示，而语音IME支持语音输入和言语音频的转录。对于一些移动装置或用户装置，可将键盘IME配置为默认IME，并且因此是装置所采用的预选输入法选项。

当移动装置的用户激活麦克风功能时，用户可引起装置进行从键盘IME到语音IME的切换。在某些情况下，可通过在移动装置的显示器上可见的点亮的麦克风图标来指示该切换。类似地，在语音听写中，手动校正错误转录的单词可以触发IME向触摸键盘输入法的切换。在某些情况下，用户可通过键盘IME输入或键入文本，并且在不知道特定单词的拼写时，用户可以激活装置麦克风并选择通过语音转录来输入该单词。

发明内容

描述了至少包括具有键盘IME和语音IME的移动装置的计算系统。所述系统通过移动装置的语音输入法接收用户输入。系统识别用户输入并生成包括用户所说的特定词项的转录。该系统进一步生成至少引用该特定词项的输入场境数据结构。输入场境数据结构可包括含有所述特定词项的数据结构，以及代表在其中接收了所述特定词项的输入场境或模态的其他数据。

输入场境数据结构通常可包括时间和/或日期参数、与所接收的用户输入相关联的应用程序的指示、以及一个或多个n-gram，所述n-gram可包括与言语音频输入相关联的连续场境项目，例如字母或单词。言语音频对应于通过语音输入法接收的用户输入，并且可包括特定词项的人类言语发音。

然后，系统将生成的输入场境数据结构传输给移动装置的键盘IME，以用于更新通过键盘IME以及语音IME可访问的一个或多个语言模型。输入场境数据结构还可用于更新通过计算系统的多个用户皆可访问的通用语言模型。更新后的语言模型使得在通过移动装置的语音输入法或键盘输入法再次接收特定词项作为用户输入时，键盘IME和语音IME能够识别该特定词项。

在本说明书的一个创造性方案中，描述了一种计算机实现的方法，其包括：激活第一模态用户输入模式，其中使用第一模态识别器来识别通过第一模态的方式实现的用户输入；以及通过第一模态的方式接收用户输入。该方法包括：作为第一模态识别器识别用户输入的结果而获得包括特定词项的转录；以及生成至少引用所述特定词项的输入场境数据结构。该方法进一步包括：通过第一模态识别器将输入场境数据结构传输给第二模态识别器，以用于更新与第二模态识别器相关联的第二模态识别模型。如同本说明书所使用的，模态可以是特定输入模式、通信信道或输入信号路径，其中用户装置在该输入信号路径中接收和/或处理特定类型的用户输入。

在一些实施方式中，该方法进一步包括：激活第二模态用户输入模式，其中使用第二模态识别器来识别通过第二模态的方式实现的用户输入；通过第二模态的方式接收用户输入，用户输入包括特定词项；以及响应于传输而通过第二模态识别器来识别通过第二模态的方式接收的特定词项。在一些实施方式中，通过第二模态识别器识别特定词项包括至少通过用户装置的显示器提供特定词项与第二模态识别器可访问的语言模型相关联的指示。

在一些实施方式中，该方法进一步包括：响应于通过第二模态的方式接收用户输入而激活第一模态用户输入模式，其中所接收的用户输入包括特定词项，且所述特定词项没有被第二模态识别器识别。