[发明专利]具有数量被减少的参数的神经网络

说明书

提供了一种方法。该方法包括：提供具有权重集(W)并被配置为接收输入数据结构(x)的神经网络，用于根据所述权重集的值来生成对应的输出阵列(y(x,W))‑训练(200)神经网络(100)以获得经训练的神经网络(100”)，所述训练包括借助于梯度下降算法来设置权重集的值，该梯度下降算法利用包括损失项和正则化项的成本函数；‑通过通信网络(650)在设备(620)上部署经训练的神经网络(100”)；‑在设备上使用已部署的经训练的神经网络(100”)，其中：正则化项基于由权重值集的变化造成的输出阵列元素的变化率。

技术领域

本发明涉及神经网络领域。

背景技术

在过去的几年中，人工神经网络(下文中简称“ANN”)已引起强烈关注，并成功应用于广泛的应用领域，包括控制系统、机器人技术、模式识别系统、预测、医学、电力系统、制造、优化、信号处理和社会/心理科学。

在ANN的应用领域中，随着诸如智能电话或包括数码相机的其它便携式设备之类的数字图像捕获设备的使用的增长，图像的对象分类(在下文中简称为“对象分类”)变得越来越重要。对象分类是提供用于根据预定义的图像类别将标签分配给(数字)图像中描绘的(一个或多个)对象的过程。对象分类提供了通过分析图像的视觉图案来在可用的预定义图像类别中为图像中描绘的对象选择适当的类别。特别地，对象分类可以基于已知的通常被称为应用于ANN的“深度学习”的机器学习方法。

如本领域技术人员众所周知的，ANN的基本元素是神经元，也称为节点。每个神经元都有单个输出，但它可能有许多输入。神经元的输出是将非线性函数应用于添加到通常称为偏差的恒定值的其输入的线性组合的结果。该线性组合的系数通常被称为权重w，并且非线性函数通常被称为激活函数。ANN根据所谓的“层”序列进行布置。每层包含一组对应的神经元。属于一层的神经元的输出可以用作属于该序列的下一层的神经元的输入。

如例如在Gradient-based learning applied to document recognition，LeCun、Yann等人，Proceedings of the IEEE 86.11(1998),Convolutional NeuralNetwork(卷积神经网络，在下文中简称为“CNN”)中所公开的是一种特别有利于在对象分类领域中利用的ANN。为此，对象分类领域中实际采用的大多数方法都基于CNN。CNN是一种ANN，其包括至少一个卷积层，即，包括共享相同权重w集的神经元的层(在图像分析领域中，所述权重集通常被称为“内核”或“过滤器”)并且其输出由其输入之间的卷积给出。

参考包括布置在h行和h列中的h²个像素的示例性灰度数字图像(输入图像)，其中每个像素具有与其相关联的、指示对应亮度值的对应像素值(例如，像素值越高，亮度越高，例如，使用1字节无符号数，值0对应于较低的亮度，并且值255对应于最高的亮度)，以及包括布置在具有k×k个元素的矩阵中的k²个权重w的内核，输入图像和内核之间的卷积提供了对图像的处理，以生成包含多个特征的所谓特征图，每个特征通过执行以下操作与输入图像的k×k个像素(源像素)的对应区域相关联：

-k×k内核被“重叠”在输入图像的对应k×k部分上，以便使输入图像的所述部分的每个源像素与内核矩阵的对应元素相关联，其中内核矩阵的中心元素与所述部分的中心源像素相关联；

-通过将输入图像的所述部分中包括的每个像素的像素值与对应于内核矩阵的相关联元素的权重w相乘来对该像素值进行加权；

-加权的像素值相互求和，并加上对应的偏差；

-应用激活功能，以这种方式获得与输入图像的检查部分相关联的特征；这样的特征被保存在特征图的与中央源像素对应的位置。

-过滤器在水平和垂直方向上移动相当于等于整数值(例如，1个像素)的步幅

-重复上述步骤以覆盖输入图像的所有像素，以便获得完整的特征图。