[发明专利]用于训练神经网络的方法

说明书

用于训练神经网络的方法。描述了一种用于使用大量训练行程来训练神经网络的方法，其中所述神经网络具有至少一个卷积层，并且在至少一个训练行程中借助于所述卷积层执行至少一个卷积，所述方法具有以下步骤：从所述神经网络的前一层的输出提供多个输入特征图；借助于多个卷积核和所述多个输入特征图形成所述卷积层的至少一个输出特征图，其中向由所述输入特征图之一和所述至少一个输出特征图中的每一个输出特征图构成的每种组合分配一个卷积核，并且所述卷积核中的每一个具有多个卷积权重；为由所述输入特征图和所述输出特征图构成的所有组合确定多个卷积核范数，其中根据所述卷积核的卷积权重的绝对数值形成卷积核范数。

技术领域

本发明涉及一种用于训练具有卷积层的神经网络并确定卷积正则化值的方法。

背景技术

为了控制至少部分自动化的系统，例如作为移动平台的示例的自驾驶车辆或机器人，开发了深度学习方法，在所述深度学习方法中经常使用神经网络。神经网络已在诸如语音识别、机器翻译、图像分类、图像分割的各种实际任务中、在玩视频游戏中、在玩棋盘游戏中或在预测蛋白质结合中表现出卓越的性能。这样的至少部分自动化的系统的重要组成部分是其感知与其环境相关的复杂状况的能力，从而许多上述示例都可以适配于该任务。

安全和有效地运行这样的至少部分自动化的系统的前提是例如对移动平台的环境进行解释以用于例如决策过程，如所述移动平台的轨迹规划和轨迹控制。越来越多地使用诸如神经网络的机器学习方法来解决这样的任务。机器学习方法的任务是借助于训练数据来学习尽可能好地检测所述训练数据的函数。在此使用成本函数来评估所学习的函数的质量。在训练这样的机器学习方法时已证明有利的是，对权重进行正则化。这意味着将其他正则化项加性添加到所述成本函数中。

发明内容

在分类问题的情况下，向所述成本函数添加其他正则化项导致必须在训练神经网络时对损失函数和正则化项的总和进行最小化。正则化项的示例是所谓的L1或L2正则化。典型的前馈神经网络可以理解为块序列，所述块分别由线性运算和随后的非线性组成。可以用矩阵来描述这样的线性块。在卷积网络、即神经卷积网络的情况下，通过具有一定数量索引的权重来对这些线性映射进行参数化。

L1正则化将所述矩阵的元素的绝对数值相加，L2正则化在该求和之前对所述矩阵的元素的绝对数值平方。从而利用正则化项来控制函数类别的大小。在此，正则化因子平衡了用于解决神经网络的任务的可能函数的集合。

在迄今为止已知的正则化项的情况下，没有考虑所述神经网络的“卷积”（convolutional）结构。典型地，对层的权重而不是对所述神经卷积网络的线性映射进行正则化。

根据本发明，说明了根据独立权利要求的特征的方法、用途、神经网络、设备以及计算机程序产品和计算机可读存储介质，这些特征至少部分地具有所提及的效果。有利的构型是从属权利要求以及以下描述的主题。

本发明基于以下知识，即正则化项应当考虑所述神经网络的卷积结构，使得卷积层的线性映射被正则化。本发明引入了新的正则化项，所述新的正则化项考虑了所述神经网络的卷积结构。

根据本发明的一个方面，说明了一种用于使用大量训练行程来训练神经网络的方法，其中所述神经网络具有至少一个卷积层，并且其中在至少一个训练行程中借助于所述卷积层执行至少一个卷积。

在所述方法的一个步骤中，从所述神经网络的前一层的输出提供多个输入特征图。

在进一步的步骤中，借助于多个卷积核和所述多个输入特征图形成所述卷积层的至少一个输出特征图，其中向由所述输入特征图之一和所述至少一个输出特征图中的每一个输出特征图构成的每种组合分配一个卷积核，并且卷积核中的每一个具有多个卷积权重。

在进一步的步骤中，为由所述输入特征图和所述输出特征图构成的所有组合确定多个卷积核范数，其中根据所述卷积核的卷积权重的绝对数值形成卷积核范数。