[发明专利]用于训练混合模型的方法和设备

权利要求书

1.一种用于训练混合模型的方法，所述混合模型包括多个子模型，所述方法包括：

响应于接收到第一组数据，确定所述第一组数据相对于所述多个子模型间的第一分布；

对所述第一组数据进行降维，以确定经降维的所述第一组数据的第二分布；

基于所述第一分布和所述第二分布来更新用于所述多个子模型的模型参数的第三分布；

响应于在第一组数据之后接收到第二组数据，确定所述第二组数据相对于所述多个子模型间的第四分布；

对所述第二组数据进行降维，以确定经降维的所述第二组数据的第五分布；以及

基于所述第四分布和所述第五分布来更新所述第三分布。

2.根据权利要求1所述的方法，其中所述第一分布由所述第一组数据的第一隐变量的变分分布来表示，并且确定所述第一分布包括：

确定用于控制所述第一隐变量的所述变分分布的、与所述第一组数据相对应的第一参数。

3.根据权利要求2所述的方法，其中确定所述第一分布还包括：

确定所述第一参数，以使得所述混合模型的目标函数的值最大。

4.根据权利要求1所述的方法，其中所述第二分布由所述第一组数据的第二隐变量的变分分布来表示，并且确定所述第二分布包括：

确定用于控制所述第二隐变量的所述变分分布的、与所述第一组数据相对应的第二参数。

5.根据权利要求4所述的方法，其中确定所述第二分布还包括：

确定所述第二参数，以使得所述混合模型的目标函数的值最大。

6.根据权利要求1所述的方法，其中所述第三分布由所述第一组数据的第三隐变量的变分分布来表示，并且更新所述第三分布包括：

更新用于控制所述第三隐变量的所述变分分布的第三参数。

7.根据权利要求6所述的方法，其中更新所述第三分布还包括：

通过计算所述混合模型的目标函数相对于所述第三参数的自然梯度来更新所述第三参数。

8.根据权利要求1所述的方法，其中基于所述第一分布和所述第二分布来更新用于所述多个子模型的模型参数的第三分布包括：

迭代执行以下操作至少一次，直至收敛条件被满足：

基于所述第一分布和所述第二分布来更新所述第三分布；以及

基于更新后的所述第三分布，更新所述第一分布和所述第二分布。

9.根据权利要求8所述的方法，其中所述收敛条件包括以下至少一个：

所述迭代的次数达到预定次数，以及

所述混合模型的目标函数的变化量低于预定阈值。

10.根据权利要求1所述的方法，还包括：

从数据集合中选择所述第一组数据；以及

从所述数据集合中选择与所述第一组数据所包含的样本数目相同的所述第二组数据。

11.根据权利要求1所述的方法，还包括：

从数据流中接收所述第一组数据；以及

在接收到所述第一组数据之后，从所述数据流中接收所述第二组数据。

12.根据权利要求1-11中的任一项所述的方法，其中所述混合模型是贝叶斯主成分分析混合模型，并且所述混合模型的目标函数是针对所述贝叶斯主成分分析混合模型的证据下界。

13.一种用于训练混合模型的设备，所述混合模型包括多个子模型，所述设备包括：

至少一个处理单元，被配置为：

响应于接收到第一组数据，确定所述第一组数据相对于所述多个子模型间的第一分布；

对所述第一组数据进行降维，以确定经降维的所述第一组数据的第二分布；

基于所述第一分布和所述第二分布来更新用于所述多个子模型的模型参数的第三分布；

响应于在第一组数据之后接收到第二组数据，确定所述第二组数据相对于所述多个子模型间的第四分布；

对所述第二组数据进行降维，以确定经降维的所述第二组数据的第五分布；以及

基于所述第四分布和所述第五分布来更新所述第三分布。

14.根据权利要求13所述的设备，其中所述第一分布由所述第一组数据的第一隐变量的变分分布来表示，并且确定所述第一分布包括：

确定用于控制所述第一隐变量的所述变分分布的、与所述第一组数据相对应的第一参数。