[发明专利]移动装置上的模态学习

权利要求书

1.一种计算机实现的方法，其包括：

激活第一模态用户输入模式，在所述第一模态用户输入模式下使用第一模态识别器来识别通过第一模态的方式实现的用户输入；

通过所述第一模态的方式接收第一用户输入；

作为所述第一模态识别器识别所述第一用户输入的结果，获得包括特定词项的转录；

生成至少引用所述特定词项的输入场境数据结构；以及

由所述第一模态识别器将所述输入场境数据结构传输给第二模态识别器，以用于更新与所述第二模态识别器相关联的第二模态识别模型，其中，所述更新包括在与所述第二模态识别模型相关联的语言模型中存储所述特定词项，

所述方法进一步包括：

激活第二模态用户输入模式，在所述第二模态用户输入模式下使用所述第二模态识别器来识别通过第二模态的方式实现的用户输入；

通过所述第二模态的方式接收第二用户输入，所述第二用户输入包括所述特定词项；以及

响应于在所述第二模态识别器处接收到所述输入场境数据结构，由所述第二模态识别器使用所述语言模型来识别通过所述第二模态的方式接收的所述特定词项。

2.根据权利要求1所述的方法，其中通过所述第二模态识别器识别所述特定词项包括至少通过用户装置的显示器提供所述特定词项与所述第二模态识别器可访问的语言模型相关联的指示。

3.根据权利要求1所述的方法，其中激活所述第一模态用户输入模式包括：

响应于通过所述第二模态的方式接收第二用户输入而激活所述第一模态用户输入模式，其中所述第二用户输入包括所述特定词项，且所述特定词项没有被所述第二模态识别器识别。

4.根据权利要求1至3中任一项所述的方法，其中所述第二模态识别器被配置为：

检测通过所述第二模态的方式接收的包括至少引用所述特定词项的输入内容的用户输入的出现；

递增第一数据计数，所述第一数据计数跟踪以下情形的出现次数：引用所述特定词项的输入内容被通过所述第二模态的方式接收；以及

递增第二数据计数，所述第二数据计数跟踪以下情形的出现次数：与所述特定词项相对应的用户输入被通过所述第二模态的方式接收。

5.根据权利要求1至3中任一项所述的方法，其进一步包括：

生成包括通过所述第一模态的方式接收的多个用户输入的数据库；以及

使用所述数据库中的至少一个用户输入来更新所述第一模态识别器和所述第二模态识别器中的至少一个可访问的一个或多个通用语言模型。

6.根据权利要求1至3中任一项所述的方法，其中所述第一模态用户输入模式包括语音输入模式，在所述语音输入模式下使用所述第一模态识别器来识别与人类言语相对应的用户输入。

7.根据权利要求6所述的方法，其中所述第一模态识别器是语音输入法编辑器，所述语音输入法编辑器被配置为接收与包括所述特定词项的发音的人类言语相对应的音频输入信号。