[发明专利]用于训练神经网络的方法

说明书

用于训练神经网络（60）的计算机实现的方法，所述神经网络尤其被设立用于对物理测量参量进行分类，其中在供应输入信号（x）和所属的所希望的输出信号（y_T）的情况下根据神经网络（60）的输出信号（y）来进行对神经网络（60）的参数（θ）的适配，其中对这些参数（θ）的适配根据所确定的梯度（g）来进行，其特征在于，所确定的梯度（g）的分量（）根据与这些分量相对应的参数（θ）属于神经网络的哪个层（S₁,...,S₅）来被缩放。

技术领域

本发明涉及用于训练神经网络的方法、训练系统、这样训练的神经网络的应用、计算机程序和机器可读存储介质。

背景技术

从“Improving neural networks by preventing co-adaptation of featuredetectors”, arXiv preprint arXiv:1207.0580v1, Geoffrey E. Hinton, NitishSrivastava, Alex Krizhevsky, llya Sutskever, Ruslan R. Salakhutdinov (2012)，公知一种用于训练神经网络的方法，其中在训练期间随机忽略特征检测器。该方法也以名称“Dropout（丢弃）”公知。

从“Batch Normalization: Accelerating Deep Network Training byReducing Internal Covariate Shift”, arXiv preprint arXiv:1502.03167v3, Sergeyloffe, Christian Szegedy (2015)公知一种用于训练神经网络的方法，其中将输入参量归一化到小批量（英文：“mini-batch”）的训练示例的层中。

发明内容

本发明的优点

与此相对地，具有独立权利要求1的特征的方法具有如下优点：可以特别好地防止神经网络的参数的过拟合。

有利的扩展方案是从属权利要求的主题。

本发明的公开

在有足够多的训练数据的情况下，可以使用所谓的“Deep Learning（深度学习）”方法、即（深度）人工神经网络，以便高效地确定输入空间V₀与输出空间V_k之间的映射。这例如可以是对传感器数据、尤其是图像数据的分类，即从传感器数据或图像数据到类别的映射。以规定k-1个隐藏空间的方案为基础。还规定了在这些空间之间的k个映射。这些映射中的每个映射通常都被称作层（英文：“layer”）。通常，这种层通过在适当地选择的空间的情况下的权重来被参数化。k个层的权重也被统称为权重，而且从输入空间V₀到输出空间V_k的映射为，该映射根据各个映射（在有明确表示为下标的权重）的情况下为。

在被定义到的给定的概率分布D的情况下，训练神经网络的任务在于：将权重确定为使得成本函数L的期望值Φ

（1）

被最小化。在这种情况下，成本函数L表示对在借助于函数所确定的输入参量x_D到在输出空间V_k中的参量的映射与在输出空间V_k中的实际输出参量y_D之间的距离的量度。

“深度神经网络”可以被理解成具有至少两个隐藏层（英文：“hidden layer”）的神经网络。

为了将该期望值Φ最小化，可以使用基于梯度的方法，这些基于梯度的方法确定关于权重w方面的梯度。该梯度通常借助于训练数据来被近似，即通过来被近似，其中从所谓的时期（Epoche）中选择索引j。在这种情况下，时期是可用训练数据点的标签{1, ..., N}的排列。