[发明专利]用于从经训练神经网络生成压缩网络的设备和方法

说明书

公开了用于从经训练神经网络生成压缩网络的设备和方法，其中该方法包括：模型（402）从第一训练数据（304）生成压缩图（412），该压缩图（412）表示模型（402）的模型分量响应于第一训练数据（304）对第一输出数据的影响；通过根据压缩图（412）压缩（604）经训练神经网络来生成压缩网络（606）；经训练神经网络（610）响应于第二训练数据（306）生成经训练网络输出数据（612）；压缩网络（606）响应于第二训练数据（306）生成压缩网络输出数据（608）；通过将经训练网络输出数据（612）与压缩网络输出数据（608）进行比较来训练模型（402）。

技术领域

各种实施例总地涉及用于从经训练神经网络生成压缩网络的设备和方法。

背景技术

举例来说，对于自主驾驶，诸如相机传感器和/或视频传感器之类的成像传感器可以用于提供交通工具周围环境的数字图像。可以训练神经网络来处理诸如繁忙的城市、雪山或荒芜的平原之类的各种环境中的数字图像，并且可以取决于数字图像中图示的情形来控制交通工具。因此，针对各种环境、情形、对象、上下文等对神经网络进行训练，从而使得经训练神经网络计算密集。然而，如果交通工具处于一个环境（例如城市）中，则交通工具不需要对神经网络在其他环境（例如荒芜的平原）中针对其进行训练的情形或对象做出反应。因此，例如在实时且安全关键型系统中，有必要提供一种模型，所述模型能够从用于特定环境的经训练神经网络生成具有低计算成本的压缩网络。

在大型数据集上训练各种神经网络以执行多个任务，从而导致经训练神经网络的高计算成本。对于诸如实时应用或安全关键型应用的许多应用，可能有必要提供具有低计算成本的神经网络。此外，可能仅需要执行多个任务中的一些任务。因此，可能有必要从经训练神经网络生成压缩网络，其中压缩网络能够以低计算成本执行多个任务中的一些任务（例如一个任务）。

在Hinton等人的“Distilling the Knowledge in a Neural Network”（arXiv：1503.0253，2015年）中，描述了一种用于将资源密集型神经网络压缩成资源高效型神经网络的方法。

在Bucila等人的“Model Compression”（KDD proceedings（KDD会议录），2006年）中，描述了一种用于将资源密集型神经网络压缩成资源高效型神经网络的方法。

在Chen等人的“You Look Twice: GaterNet for Dynamic Filter Selection inCNNs”（arXiv：1811,11205，2019年）中，描述了一种用于使用缩放掩模来改进神经网络性能的方法。

在Finn等人的“Model-Agnostic Meta-Learning for Fast Adaption of DeepNetworks”（International Conference on Machine Learning（国际机器学习会议），2017年）中，描述了一种用于推广到未知任务的元学习方法。

发明内容

具有独立权利要求1（第一示例）和独立权利要求11（第三十一示例）的特征的方法和设备使得模型能够被训练为从经训练神经网络生成压缩网络，以用于执行经训练神经网络的特定任务。

模型可以是针对输入数据提供输出数据的任何种类的算法。例如，模型可以是神经网络。

所述模型可以包括第一模型部分和第二模型部分。生成压缩图可以包括第一模型部分生成影响图。影响图可以表示第一模型分量响应于相关联的第一训练数据对第一输出数据中的每个第一输出数据的影响。生成压缩图可以进一步包括生成多个影响图的组合影响图。生成压缩图可以包括第二模型部分从组合影响图生成压缩图。说明性地，影响图可以表示相应的第一模型分量响应于第一训练数据对第一输出数据的重要性或影响。本段中提到的特征与第一示例相组合提供了第二示例。