[发明专利]用于用户与助理系统交互的个性化手势识别

权利要求书

1.一种方法，包括由一个或更多个计算系统：

从数据储存器中访问与第一用户相关联的多个输入元组，其中每个输入元组包括手势输入和对应的语音输入；

由自然语言理解(NLU)模块分别确定对应于所述多个语音输入的多个意图；

基于一个或更多个机器学习模型，为所述多个手势输入生成多个特征表示；

基于所述多个手势输入各自的特征表示，分别为所述多个手势输入确定多个手势标识符；

分别将所述多个意图与所述多个手势标识符相关联；和

基于它们各自的手势输入的多个特征表示以及所述多个意图和它们各自的手势标识符之间的关联，为所述第一用户训练个性化手势分类模型。

2.根据权利要求1所述的方法，还包括：

从所述数据储存器中访问对应于一般用户群体的通用手势分类模型，其中训练所述个性化手势分类模型还基于所述通用手势分类模型。

3.根据权利要求2所述的方法，其中，基于来自所述一般用户群体的多个手势输入来训练所述通用手势分类模型。

4.根据权利要求1所述的方法，还包括：

由一个或更多个自动语音识别(ASR)模块分别为所述多个语音输入生成多个文本输入。

5.根据权利要求4所述的方法，其中，分别确定对应于所述多个语音输入的多个意图是基于相应语音输入的多个文本输入。

6.根据权利要求1所述的方法，其中所述一个或更多个机器学习模型基于神经网络模型或长短期记忆(LSTM)模型中的一个或更多个。

7.根据权利要求1所述的方法，其中所述个性化手势分类模型基于卷积神经网络。

8.根据权利要求1所述的方法，其中为每个手势输入生成每个特征表示包括：

将所述手势输入分成一个或更多个组成部分；和

将所述一个或更多个组成部分建模到所述手势输入的特征表示中。

9.根据权利要求1所述的方法，其中为每个手势输入生成每个特征表示包括：

确定与所述手势输入相关联的瞬时信息；和

将所述瞬时信息建模到所述手势输入的特征表示中。

10.根据权利要求1所述的方法，还包括：

从与所述第一用户相关联的客户端系统接收来自所述第一用户的新手势输入；和

基于所述个性化手势分类模型，为所述新手势输入确定对应于所述新手势输入的意图。

11.根据权利要求10所述的方法，还包括：

基于所确定的意图执行一个或更多个任务。

12.根据权利要求1所述的方法，其中训练所述个性化手势分类模型还基于来自所述第一用户的用户反馈数据。

13.一个或更多个计算机可读非暂时性存储介质，其体现软件，所述软件在被执行时可操作来：

从数据储存器中访问与第一用户相关联的多个输入元组，其中每个输入元组包括手势输入和对应的语音输入；

由自然语言理解(NLU)模块分别确定对应于所述多个语音输入的多个意图；

基于一个或更多个机器学习模型，为所述多个手势输入生成多个特征表示；

基于所述多个手势输入各自的特征表示，分别为所述多个手势输入确定多个手势标识符；

分别将所述多个意图与所述多个手势标识符相关联；和

基于它们各自的手势输入的多个特征表示以及所述多个意图和它们各自的手势标识符之间的关联，为所述第一用户训练个性化手势分类模型。

14.根据权利要求13所述的介质，其中所述软件在被执行时还可操作来：

从所述数据储存器中访问对应于一般用户群体的通用手势分类模型，其中训练所述个性化手势分类模型还基于所述通用手势分类模型。