[发明专利]具有数量被减少的参数的神经网络

权利要求书

1.一种方法，包括：

-提供具有权重集(W)并被配置为接收输入数据结构(x)的神经网络，用于根据所述权重集的值来生成对应的输出阵列(y(x,W))；

-训练(200)神经网络(100)以获得经训练的神经网络(100”)，所述训练包括借助于梯度下降算法来设置权重集的值，该梯度下降算法利用包括损失项和正则化项的成本函数；

-通过通信网络(650)在设备(620)上部署经训练的神经网络(100”)；

-在设备上使用已部署的经训练的神经网络(100”)，

其特征在于

正则化项基于由权重值集的变化造成的输出阵列的元素的变化率。

2.如权利要求1所述的方法，其中所述正则化项基于惩罚的总和，每个惩罚惩罚权重集的对应权重，每个惩罚基于第一因子和第二因子的乘积，其中：

-所述第一因子基于所述对应权重的幂，特别是对应权重的平方，并且

-所述第二因子基于输出阵列对对应权重的变化的灵敏度的函数。

3.如权利要求2所述的方法，其中所述函数与输出阵列的输出元素相对于权重的导数的绝对值的平均值对应。

4.如权利要求2所述的方法，其中：

-所述训练包括，针对多个训练输入数据结构当中的每一个训练输入数据结构，将由神经网络根据所述训练输入数据结构生成的输出阵列与仅具有一个非零元素的对应目标输出阵列进行比较，以及

-所述函数与对应于目标输出阵列的所述一个非零元素对应的输出阵列的元素相对于权重的导数的绝对值对应。

5.如权利要求2至4所述的方法，其中所述训练(200)包括通过从所述权重中减去以下各项来从权重集中的每个权重计算(440，470)对应的更新后的权重：

-基于损失项相对于权重的导数的第一项，以及

-基于所述权重与另一个函数的乘积的第二项，如果所述函数不大于一，那么所述另一个函数等于一减去所述函数，而如果所述函数大于一，那么所述另一个函数等于零。

6.如前述权利要求中的任一项所述的方法，其中所述训练(200)还包括将权重集中具有低于对应阈值的值的权重设置为零(520)。

7.如权利要求6所述的方法，还包括将所述阈值设置为以下之间所选择的阈值：

-基于非零权重的均值的阈值；

-使得第一集合尺寸与第二集合尺寸之比等于常数的阈值，其中，所述第一集合尺寸是绝对值小于或等于所述阈值的非零权重的数量，并且所述第二集合尺寸等于所有非零权重的数量。

8.如前述权利要求中的任一项所述的方法，其中所述在设备(620)上部署经训练的神经网络包括通过所述通信网络(650)将经训练的神经网络的非零权重发送到设备。

9.如前述权利要求中的任一项所述的方法，其中所述在设备上使用已部署的经训练的神经网络(100”)包括将已部署的经训练的神经网络(100”)与在设备上运行的用于视觉对象分类的应用一起使用。

10.如前述权利要求中的任一项所述的方法，其中所述设备是移动设备。

11.如权利要求1至8中的任一项所述的方法，其中所述设备是自驾驶车辆的控制系统的处理设备。