[发明专利]一种深度卷积神经网络的压缩及加速方法、神经网络模型及其应用

说明书

本发明公开了一种深度卷积神经网络的压缩及加速方法、神经网络模型及其应用，属于深度卷积神经网络领域。该方法包括以下步骤：1)将深层深度卷积神经网络转化为宽浅神经网络结构；2)将规范化的样本数据输入到宽浅神经网络进行训练，得到浮点数权值；将浮点数权值和神经网络结构的激活函数进行二进制化，得到二进制化后的神经网络；将二进制化后的样本数据作为训练数据，输入二进制化后的神经网络进行训练并更新参数，直至预测值与ground truth误差达到预设误差，完成训练；其中，在二进制化后的神经网络的训练过程中，卷积层进行加法和减法运算。解决了现有深度卷积神经网络不能应用于嵌入式计算平台的问题。

技术领域

本发明属于深度卷积神经网络领域，尤其是一种深度卷积神经网络的压缩及加速方法、神经网络模型及其应用。

背景技术

在轨目标识别需要卫星在轨实时完成目标的特征提取与分类识别等一系列动作，并同时保持较高的准确性和快速性。传统的目标识别方法通常采用手工提取全局特征与局部特征的方法，然后对提取的特征进行分割并对目标的全局信息建模，然后给出目标的识别信息。该方法存在以下缺点：手动提取特征需要专业的图像处理知识，需要根据图像的特点选取性能好，鲁棒性好的方法，该过程比较复杂，且具有一定的主观性；手工提取特征的方法往往是一种或几种方法的融合，该过程需要耗费比较多的时间进行特征提取与融合；手工提取方法往往比较关注图像的某一方面，不能全面的提取图像的特征，导致最终的目标识别具有一定局限性；目标识别对图像的特征依赖性很强。

鉴于效率和性能的权衡，以及各种智能化信息处理系统发展趋势的迫切需求，深度学习凭借强大的建模和数据表征能力迅速成为计算机视觉领域的研究热点，并在图像识别和语音识别领域取得了突破性进展。当前高性能对地观测卫星正朝着智能化的方向发展，卫星在轨智能信息处理是亟待突破的关键技术。卫星在轨信息系统是一种典型的嵌入式系统，其对存储、内存、运算能力及功耗等都有非常严格的限制，使得直接在卫星信息处理平台上运行深度神经网络几乎不可实现。由于需要耗费大量计算与内存，目前情况下，深度卷积神经网络只能运行在拥有通用图像处理器(GPU)的平台上，还不能直接应用于内存，运算及功耗有限的嵌入式计算平台上。这使得必须依靠嵌入式计算平台的卫星在轨处理系统只能采用传统算法，而非采用具有更高性能的深度学习算法来提升系统的在轨处理能力。这种计算瓶颈极大地制约了卫星在轨信息处理系统的发展速度。

发明内容

本发明的目的在于解决现有深度卷积神经网络不能直接应用于不含GPU的通用计算平台上的问题，提供一种深度卷积神经网络的压缩及加速方法、神经网络模型及其应用。

为达到上述目的，本发明采用以下技术方案予以实现：

一种深度卷积神经网络的压缩及加速方法，包括以下步骤：

1)将深层深度卷积神经网络转化为宽浅神经网络结构；

2)将规范化的样本数据输入到宽浅神经网络进行训练，得到浮点数权值；

将浮点数权值和神经网络结构的激活函数进行二进制化，得到二进制化后的神经网络；

将二进制化后的样本数据作为训练数据，输入二进制化后的神经网络进行训练并更新参数，直至预测值与ground truth误差达到预设误差，完成训练；

其中，在二进制化后的神经网络的训练过程中，卷积运算将转化为加法和减法运算。

进一步的，步骤1)中的转化过程具体为：

将深层卷积神经网络结构中的基本卷积单元进行剪切并级联，使其变为宽浅神经网络。

进一步的，步骤2)具体包括：

201)将训练样本进行规范化，得到二制化后的训练样本；

202)将所述规范化后的训练样本输入到变宽变浅的神经网络进行训练，得到浮点数权值；