[发明专利]用于训练机器学习系统的方法和装置

说明书

一种用于训练机器学习系统的计算机实现的方法，该机器学习系统被配置为：基于至少一个第一输入信号以及多个第二输入信号和第二输出信号来确定第一输出信号，其中第一输出信号表征带有不确定性的分类和/或回归，该方法包括如下步骤：确定彼此保持上下文关系的多个训练输入信号，其中每个训练输入信号分配有对应的训练输出信号；将多个训练输入信号和训练输出信号划分成多个第二训练输入信号和第二训练输出信号并且划分成至少一个第一训练输入信号和至少一个第一训练输出信号；确定多个第二训练输入信号和第二训练输出信号的上下文表示；确定针对第一训练输入信号的预测输出信号；确定损失值，其表征在预测输出信号与第一训练输出信号之间的区别。

技术领域

本发明涉及一种用于训练机器学习系统的方法、一种用于运行机器学习系统的方法、一种训练系统、一种计算机程序和一种机器可读存储介质。

背景技术

Marta Garnelo等人的“Conditional Neural Processes”，https://arxiv.org/abs/1807.01613v1，2018年7月4日公开了一种用于借助于条件神经过程（英文ConditionalNeural Process）来确定输出信号的方法。

本发明的优点

很多至少部分自动化设备或者至少部分自动化系统为了自动化运行而使用机器学习系统。机器人例如可以使用机器学习系统来对该机器人的周围环境进行分类，比如以便介于该周围环境的摄像机图像来对该周围环境中的对象进行分类。此外，也可设想的是：该机器人替代分类而将机器学习系统用于回归，例如以便借助于该周围环境的摄像机图像来确定距被分类的对象的距离。

机器学习系统通常被构造为：基于输入信号（例如输入图像）来确定关于该输入图像的预测（例如对象的类型和位置或者距对象的距离）。在下文，机器学习系统的性能可以被理解成表征该机器学习系统用来正确预测所希望的结果的平均能力的值。

现代机器学习系统通常基于神经网络，因为神经网络通常在不同的技术问题的情况下都能够实现非常高的性能。神经网络的缺点在于：这些神经网络通常无法确定关于这些神经网络的预测的经过良好校准的不确定性。这意味着：即使在预测错误或不精确的情况下，神经网络也常常输出该预测是正确的高的确定性。

利用具有独立权利要求1的特征的方法来被训练的机器学习系统的优点在于：该机器学习系统可以确定关于预测的经过良好校准的不确定性。有利地，该方法通过高斯过程（英文Gaussian Processes）和神经网络的特征的组合来获得该特性。相比于高斯过程和神经网络的其它组合，诸如条件神经过程，根据具有独立权利要求1的特征的方法来被训练的机器学习系统实现了更好的性能。

发明内容

在第一方面，本发明涉及一种用于训练机器学习系统的计算机实现的方法，其中该机器学习系统被配置为：基于至少一个第一输入信号以及多个第二输入信号和与这些第二输入信号对应的第二输出信号来确定与该第一输入信号对应的第一输出信号，其中该第一输出信号表征带有不确定性的分类和/或带有不确定性的回归，其中该方法为了该训练而包括如下步骤：

• 确定多个训练输入信号，所述多个训练输入信号彼此保持上下文关系，其中每个训练输入信号都分配有对应的训练输出信号；

• 将多个训练输入信号和训练输出信号划分成多个第二训练输入信号和对应的第二训练输出信号并且划分成至少一个第一训练输入信号和至少一个对应的第一训练输出信号；

• 确定多个第二训练输入信号和第二训练输出信号的上下文表示；

• 借助于该机器学习系统的解码器并且基于所确定的上下文表示和该第一训练输入信号来确定针对该至少一个第一训练输入信号的预测输出信号；

• 确定损失值，该损失值表征在该预测输出信号与该第一训练输出信号之间的区别，其中该损失值基于损失函数来被确定，其中该损失函数表征正态分布的概率密度函数或对数化概率密度函数；

• 确定该编码器和/或该解码器的多个参数关于该损失值的梯度；