[发明专利]一种神经网络压缩方法及装置

说明书

本申请公开了一种神经网络压缩方法及装置。该方法包括：获取标签数据，将所述标签数据设置为监督数据；获取第一神经网络，对所述第一神经网络进行压缩处理，得到第二神经网络；以所述监督数据对所述第二神经网络进行训练，得到第三神经网络。还公开了相应的装置。本申请首先根据嵌入式终端的配置，设计合适的网络架构，再通过蒸馏、剪枝、量化三种方式对神经网络进行压缩，提高了神经网络的压缩率，同时，通过在剪枝和量化后对神经网络进行训练，保证了压缩后的神经网络的精度。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种神经网络压缩方法及装置。

背景技术

在一系列的计算机视觉任务中，神经网络都表现出了非常明显的优势，除了强大的计算平台和多种多样的训练框架之外，神经网络的强大性能主要归功于其大量的可学习参数，但大量的可学习参数会消耗相当大的内存和存储器带宽，由于移动终端的内存和存储器带宽有限，导致神经网络无法应用于移动终端。通过对神经网络进行剪枝处理可实现对神经网络的压缩，减少神经网络对内存和存储器带宽的消耗，进而顺利应用于移动终端上，但压缩后的神经网络的精度较低。

发明内容

本申请提供一种神经网络压缩，以实现对神经网络的压缩。

第一方面，提供了一种神经网络压缩方法，包括：获取标签数据，将所述标签数据设置为监督数据；获取第一神经网络，对所述第一神经网络进行压缩处理，得到第二神经网络；以所述监督数据对所述第二神经网络进行训练，得到第三神经网络。

在该方面中，所述第一神经网络是根据嵌入式终端的配置设计得到的，通过对所述第一神经网络进行压缩处理，压缩处理后得到的神经网络可在保证精度的同时，降低对硬件配置的需求，更适合应用于嵌入式端；所述压缩处理包括：蒸馏、剪枝、量化三种处理方式。

在一种可能实现的方式中，所述对所述第一神经网络进行压缩处理，得到第二神经网络，包括：以第一数据对所述第一神经网络进行训练，得到第四神经网络，所述第一数据包含所述标签数据和第二数据，所述第二数据为将样本数据输入至目标神经网络得到的数据；以所述监督数据对剪枝处理后的第四神经网络进行训练，得到第五神经网络；对所述第五神经网络进行量化处理，得到所述第二神经网络。

在该种实现方式中，通过标签数据和将样本数据输入至所述目标神经网络获得的第二数据同时对所述第一神经网络进行压缩处理，实现将目标神经网络的功能迁移至所述第四神经网络，其中，所述压缩处理为知识蒸馏；对所述第四神经网络进行剪枝处理，实现对第二神经网络的进一步压缩，而对所述剪枝处理后的第四神经网络进行训练，可弥补所述剪枝处理带来的精度损失；对所述第五神经网络进行量化处理，实现对所述第五神经网络的进一步压缩，而对所述量化处理后的第五神经网络进行训练，可弥补所述量化处理带来的精度损失。

在另一种可能实现的方式中，所述以第一数据对所述第一神经网络进行训练，得到第四神经网络，包括：获取所述样本数据以及所述目标神经网络；根据第三数据与所述监督数据得到第一损失函数的值，所述第三数据为将所述样本数据输入所述第一神经网络得到的数据，所述第一损失函数属于所述第一神经网络；根据所述第二数据与所述监督数据得到第二损失函数的值，所述第二损失函数属于所述第一神经网络；根据所述第一损失函数的值、所述第二损失函数的值与第一预设值，调整所述第一损失函数与所述第二损失函数之间的权重。

在该种实现方式中，通过所述第三数据和所述监督数据调整所述第一损失函数的参数，同时，通过所述样本数据输入至已经训练好的所述目标神经网络得到的第二数据和所述监督数据调整所述第二损失函数的参数，以及根据所述第一损失函数的值和所述第二损失函数的值调整所述第一损失函数与所述第二损失函数之间的权重，并通过调整权重后的第一损失函数和第二损失函数更新所述第一神经网络网络的权重，使训练得到的第四神经网络通过知识蒸馏获得目标功能。