[发明专利]学习包括高斯过程的概率模型的参数

说明书

学习包括高斯过程的概率模型的参数。公开了系统（100），其用于根据训练数据集学习具有多个高斯过程（例如深度GP）的层的概率模型的参数集合。参数集合至少包括针对多个高斯过程的诱导位置，以及对多个高斯过程在多个诱导位置处的输出进行近似的概率分布的参数。概率分布包括多元正态概率分布，所述多元正态概率分布具有由指示多个高斯过程之间相似性的第一矩阵和指示多个诱导位置之间相似性的第二矩阵的克罗内克积限定的协方差矩阵。还公开了系统（200），其使用参数集合来确定概率模型针对给定输入的输出的一个或多个样本，例如以确定针对概率模型的均值和/或不确定性估计。

技术领域

本发明涉及用于学习（例如具有复杂底层物理模型的技术系统的）包括高斯过程的概率模型的参数集合的系统，以及用于将概率模型应用于输入的系统。本发明还涉及对应于所述系统的计算机实现的方法和计算机可读介质，以及涉及包括所述参数集合的计算机可读介质。

背景技术

许多技术系统具有对于显式地建模而言太复杂的底层物理模型。例如，预测特定发动机排放值的模型可能以复杂的非线性方式依赖于其输入参数（诸如速度和负荷），或者直接依赖于发动机控制单元（ECU）的输入参数。为了对在这类物理模型中出现的复杂的非线性依赖性进行建模，高斯过程（GP）可以用作概率建模中的构建块。对于安全关键的应用而言重要的是，高斯过程不仅可以用于预测点估计，而且还可以用于提供相关联的不确定性估计。已知由单个GP组成的模型被很好地校准，例如，它们的不确定性估计是合理的。更复杂的系统可以使用所谓的深度高斯过程来建模，所述深度高斯过程包括GP的层次组成。

在H.Salimbeni和M.Deisenroth的论文“Doubly Stochastic VariationalInference for Deep Gaussian Processes” 神经信息处理系统的进展，2017（通过引用并入本文并在https：//arxiv.org/abs/1705.08933可获得）中，给出了一种用于基于双重随机变分推断来训练深度GP的算法。基于均值场假设——即潜在过程是后验独立的假设，使用诱导点框架独立地学习每个GP的统计量。

发明内容

发明人认识到，用于训练和使用具有高斯过程的概率模型的现有技术具有若干缺点。首先，用于处理这类概率模型的现有技术在计算上是昂贵的。例如，需要相对大量的参数来表示高斯过程，这意味着：需要大量的迭代来使用迭代技术训练这类模型，并且评估模型（例如，计算其边际似然性的下界和预测分布）是昂贵的。与此同时，如发明人所认识到的，假设后验独立性意味着忽略潜在高斯过程之间的关联。这对于预测不确定性是有害的，因为它在许多情况下导致对潜在后验和预测分布的不确定性的低估。这是有问题的，尤其是对于安全关键的应用。

存在对于改进基于高斯过程的概率模型以便解决这些和其他问题的需要。

根据本发明的第一方面，如权利要求1所限定的，提出了一种用于学习概率模型的参数集合的系统。根据本发明的另外的方面，如权利要求10所限定的，提出了一种用于将概率模型应用于输入的系统。根据本发明的另外的方面，如权利要求12所限定的，提出了一种学习概率模型的参数集合的方法。根据本发明的另外的方面，如权利要求13所限定的，提出了一种将概率模型应用于输入的方法。根据本发明的另外的方面，如权利要求14和15所限定的，提供了一种计算机可读介质。

借助于这些手段，发明人能够开发出一族具有各种优点的概率模型。