[发明专利]用于训练混合模型的方法和设备

说明书

技术领域

本公开的实施例涉及机器学习领域，并且更具体地涉及用于训练混合模型的方法和设备。

背景技术

混合模型是一种使用混合分布的用于密度估计的概率模型，混合模型可以包括多个子模型。混合模型的示例包括但不限于高斯混合模型、分段线性混合模型，等等。这些模型已被广泛应用于多种领域，诸如图像分类、文档分类、模糊图像分割等。

混合模型的模型选择是一个非常重要而又具有挑战性的问题。已知的方法例如包括分解渐进贝叶斯推理(Factorized Asymptotic Bayesian Inference，FAB)等。然而，以FAB为代表的传统混合模型训练方法是一类批量学习算法，使其无法满足流数据之类的新型数据模式。例如，传统的混合模型训练方法通常需要重复访问全部数据集来获得准确的学习效果，并且无法快速地发现数据集中的新的模式或概念。因此，传统的混合模型训练方法均无法有效地解决流数据等新型数据模式的混合模型选择问题。

发明内容

本公开的实施例提供了一种用于训练混合模型的方法和设备，能够实现在流数据背景下在线训练针混合模型。

根据本公开的一个方面，提供了一种用于训练混合模型的方法，该混合模型包括多个子模型。该方法包括：响应于接收到流数据中的第一数据集，确定第一数据集相对于多个子模型间的第一分布；以及基于第一分布来更新用于多个子模型的模型参数。该方法还包 括：响应于接收到流数据中在第一数据集之后的第二数据集，确定第二数据集相对于多个子模型间的第二分布；以及基于第二分布来更新用于多个子模型的模型参数。

根据本公开的另一方面，提供了一种用于训练混合模型的设备，该混合模型包括多个子模型。该设备包括至少一个存储单元和至少一个处理单元，该至少一个处理单元耦合到所述至少一个存储单元并且被配置为：响应于接收到流数据中的第一数据集，确定第一数据集相对于多个子模型间的第一分布；以及基于第一分布来更新用于多个子模型的模型参数。该至少一个处理单元还被配置为：响应于接收到流数据中在第一数据集之后的第二数据集，确定第二数据集相对于多个子模型间的第二分布；以及基于第二分布来更新用于多个子模型的模型参数。

根据本公开的又一方面，提供了一种计算机可读存储介质。该计算机可读存储介质具有存储在其上的计算机可读程序指令。这些计算机可读程序指令可以用于执行根据本公开中的各个实施例所描述的方法的步骤。

提供发明内容部分是为了简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或主要特征，也无意限制本公开的各个实施例的范围。

附图说明

通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。

图1示出了根据本公开的实施例的用于训练混合模型的架构100的框图；

图2示出了根据本公开的实施例的用于训练混合模型的方法200的流程图；

图3示出了根据本公开的实施例的用于迭代地更新模型参数的方法300的流程图；

图4示出了根据本公开的实施例的用于扩展混合模型的方法400的流程图；以及

图5示出了可以用来实施本公开的实施例的示例设备500的示意性框图。

具体实施例

下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。