[发明专利]用于人工神经网络的更稳健训练

说明书

用于训练人工神经网络KNN（1）的方法（100），所述KNN包括多个处理单元（2），其中优化表征所述KNN（1）行为的参数（12）（110），目的是所述KNN（1）根据成本函数（16）将学习输入参量值（11a）尽可能好地映射为相关联的学习输出参量值（13a），其中将至少一个处理单元（2）的输出（2b）与随机值x相乘（112），并且然后作为输入（2a）输送到至少一个另外的处理单元（2'）（113），其中以概率密度函数（4a）从随机变量（4）中提取随机值x（111），所述概率密度函数（4a）与在|x‑q|中随着|x‑q|的增加而下降的指数函数成比例，其中q是可自由选择的位置参数，并且其中在所述指数函数的自变量中，|x‑q|包含在幂|x‑q|^k中，其中k≤1。用于训练和运行人工神经网络KNN（1）的方法（200）。

技术领域

本发明涉及人工神经网络的训练，以例如用作分类器和/或回归器。

背景技术

人工神经网络KNN被构造为根据通过参数集预给定的行为准则将输入参量值映射为输出参量值。所述行为准则不是以口头规则的形式设定的，而是通过所述参数集中参数的数值来设定的。在训练KNN时优化这些参数，使得KNN将学习输入参量值尽可能好地映射为相关联的学习输出参量值。然后KNN期望适当地概括在训练时获得的知识。因此，当输入参量值涉及训练中未发生的未知状况时，也应将所述输入参量值映射为可用于相应应用的输出参量值。

在以这种方式训练KNN的情况下原则上存在过拟合的风险。这意味着KNN以非常完美的方式“用心学习”将学习输入参量值正确地映射为学习输出参量值，代价是对新状况的概括因此受到影响。

（G.E. Hinton、N. Srivastava、A. Krizevsky、I. Sutskever、R.S.Salakhutdinov，“Improving neural networks by preventing co-adaptation offeature detectors（通过防止特征检测器的协同适配来改进神经网络）”，arXiv：1207.0580（2012））公开了在训练时分别根据随机原理停用（“Drop-out”）一半的可用处理单元，以抑制过拟合并更好地概括在训练时获得的知识。

（S.I. Wang、C.D. Manning，“Fast dropout training（快速dropout训练）”，Proceedings of the 30^th International Conference on Machine Learning(2013)）公开了不完全停用处理单元，而是将它们与从高斯分布中获得的随机值相乘。

发明内容

在本发明的范围中开发了一种用于训练人工神经网络KNN的方法。KNN包括多个处理单元，这些处理单元例如可以对应于KNN的神经元。KNN用于将输入参量值映射为在相应应用的意义上有意义的输出参量值。

在此，术语“值”不应有关维度限制性地理解。从而图像可以例如作为由三个颜色层面组成的张量给出，每个颜色层面都具有各个像素的强度值的二维阵列。KNN可以接收整个图像作为输入参量值，并为该图像分配例如一个分类向量作为输出参量值。例如，该向量可以为分类的每个类别说明对应类别的对象存在于该图像中的概率或置信度为多少。该图像在此可以具有例如至少8x8、16x16、32x32、64x64、128x128、256x256或512x512像素的大小，并且已经借助于成像传感器（例如视频传感器、超声传感器、雷达传感器或激光雷达传感器或热像仪）记录。KNN尤其可以是深度神经网络，也就是说包括至少两个隐藏层。处理单元的数量优选是大的，例如大于1000，优选地大于10000。

KNN尤其可以嵌入到控制系统中，所述控制系统根据所确定的输出参量值提供操控信号，用于对应地操控车辆和/或机器人和/或生产机器和/或工具和/或监视摄像机和/或医学成像系统。