[发明专利]用于深度神经网络的经学习阈值修剪

权利要求书

1.一种方法，包括：

基于分类损失和正则化损失的函数来确定用于修剪多个预训练权重中的第一组预训练权重的修剪阈值；

响应于所述第一组预训练权重中的每个预训练权重的第一值大于所述修剪阈值来修剪所述第一组预训练权重；以及

响应于所述多个预训练权重中的第二组预训练权重中的每个预训练权重的第二值大于所述修剪阈值来调整所述第二组预训练权重。

2.如权利要求1所述的方法，进一步包括：作为所述多个预训练权重中的预训练权重与可微函数的乘积来确定可微的经修剪权重，所述可微函数基于所述预训练权重、所述修剪阈值和用于平滑所述可微函数的温度来确定修剪值。

3.如权利要求2所述的方法，进一步包括：基于所述修剪阈值的第一梯度和所述多个预训练权重的第二梯度来使所述分类损失最小化。

4.如权利要求2所述的方法，进一步包括：基于针对人工神经网络的每一层确定的所述修剪值来确定所述正则化损失。

5.如权利要求1所述的方法，进一步包括：基于修剪偏好值来归一化所述正则化损失，其中确定所述修剪阈值包括基于所述分类损失和归一化的正则化损失来确定总损失。

6.如权利要求5所述的方法，进一步包括：

将人工神经网络分发给联合学习系统的用户设备；以及

基于所述用户设备的硬件简档来配置所述修剪偏好值。

7.如权利要求6所述的方法，进一步包括：从所分发的人工神经网络中排除所述第一组预训练权重。

8.一种装置，包括：

存储器；以及

耦合至所述存储器的至少一个处理器，所述至少一个处理器被配置成：

基于分类损失和正则化损失的函数来确定用于修剪多个预训练权重中的第一组预训练权重的修剪阈值；

响应于所述第一组预训练权重中的每个预训练权重的第一值大于所述修剪阈值来修剪所述第一组预训练权重；以及

响应于所述多个预训练权重中的第二组预训练权重中的每个预训练权重的第二值大于所述修剪阈值来调整所述第二组预训练权重。

9.如权利要求8所述的装置，其中所述至少一个处理器被进一步配置成：作为所述多个预训练权重中的预训练权重与可微函数的乘积来确定可微的经修剪权重，所述可微函数基于所述预训练权重、所述修剪阈值和用于平滑所述可微函数的温度来确定修剪值。

10.如权利要求9所述的装置，其中所述至少一个处理器被进一步配置成：基于所述修剪阈值的第一梯度和所述多个预训练权重的第二梯度来使所述分类损失最小化。

11.如权利要求9所述的装置，其中所述至少一个处理器被进一步配置成：基于针对人工神经网络的每一层确定的所述修剪值来确定所述正则化损失。

12.如权利要求8所述的装置，其中所述至少一个处理器被进一步配置成：基于修剪偏好值来归一化所述正则化损失，其中确定所述修剪阈值包括基于所述分类损失和归一化的正则化损失来确定总损失。

13.如权利要求12所述的装置，其中所述至少一个处理器被进一步配置成：

将人工神经网络分发给联合学习系统的用户设备；以及

基于所述用户设备的硬件简档来配置所述修剪偏好值。

14.如权利要求13所述的装置，其中所述至少一个处理器被进一步配置成：从所分发的人工神经网络中排除所述第一组预训练权重。