[发明专利]一种减少参数数量的AlexNet模型架构

说明书

本发明公开了一种减少参数数量的AlexNet模型架构，包括依次设置的输入图片、第一卷积层、第一激活函数、第一池化层、第二卷积层、第二激活函数、第二池化层、第三卷积层、第三激活函数、第四卷积层、第四激活函数、第五卷积层、第五激活函数、全局平均池化层和全连接层。本发明在保证识别准确度的前提下能够大幅减少AlexNet网络模型参数数量。

技术领域

本发明属于卷积神经网络模型压缩技术领域，具体涉及一种减少参数数量的AlexNet模型架构。

背景技术

卷积神经网络具有平移不变性以及权值共享的结构，相比于传统算法，可避免复杂的数据预处理以及特征提取过程。目前卷积神经网络被广泛应用到各个领域，尤其在计算机视觉方面获得了巨大的成功。随着物联网技术的发展，很多设备需要智能处理图片或视频，具有精准目标识别功能的移动端在市场上具有巨大的需求潜力。移动端对网络模型参数敏感，然而近几年神经网络技术得到了快速的发展，目前关于神经网络的研究仍在增加神经网络模型的尺寸，卷积神经网络模型规模日益扩增，参数规模越来越大，需要消耗大量的计算和存储资源，使其难以集成到资源有限的移动终端内，例如手机、平板等。针对卷积神经网络模型参数规模越来越大导致难以在计算与存储资源有限的嵌入式设备上大规模部署的问题，降低参数规模的卷积神经网络模型压缩方法成为目前的研究热点。

卷积神经网络的主要结构包括输入图片、卷积层、激活函数、池化层以及全连接层。其中涉及参数运算的模块为卷积层以及全连接层。卷积神经网络模型参数压缩方法能很好的解决卷积神经网络庞大的参数量与有限的资源之间的矛盾，目前被广泛应用的模型参数压缩方法有深度压缩、权重参数量化、SVD分解法等。深度压缩包含模型剪枝、量化训练和哈夫曼编码，研究人员经常协同使用这三种方法来减少神经网络的存储需求。但是采用剪枝方法进行模型压缩的程度也是有限的。权重参数量化可通过降低权重的精度达到降低资源消耗的目的。比如在常见的开发框架中，神经网络的激活和权重通常由浮点数据表示，采用低位定点数据甚至一小部分训练值代替浮点数据有助于减少神经网络处理系统的带宽和存储需求，缺点是数据精度的降低造成了分类准确率的降低，同时压缩效果很难有更高的提升。SVD分解法则通过减少权重的数量达到降低资源消耗的目的。对于全连接层的权重矩阵W。一个m×n的权重矩阵W被大小为m×p的权重矩阵A和大小为p×n的权重矩阵B的乘积代替。虽然通过减小p的值达到了减少参数数量的目的，但并不能彻底解决全连接层参数众多而容易产生过拟合的问题。

目前广泛使用的参数压缩方法虽然都在一定程度上减少了网络的参数量，但是压缩效果很难有更高的提升。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种减少参数数量的AlexNet模型架构，其在保证识别准确度的前提下能够大幅减少AlexNet网络模型参数数量。

为解决上述技术问题，本发明采用的技术方案是：一种减少参数数量的AlexNet模型架构，包括依次设置的输入图片、第一卷积层、第一激活函数、第一池化层、第二卷积层、第二激活函数、第二池化层、第三卷积层、第三激活函数、第四卷积层、第四激活函数、第五卷积层、第五激活函数、全局平均池化层和全连接层。

上述的一种减少参数数量的AlexNet模型架构，所述第二卷积层、第三卷积层、第四卷积层和第五卷积层均采用分组卷积的结构且均包括：输入特征图、将输入特征图分成的N组输入特征图组、以及卷积运算；其中，所述N的取值为大于2的自然数。

上述的一种减少参数数量的AlexNet模型架构，所述卷积运算的运算公式为：

其中，s为矩阵C的行数，t为矩阵C的列数，矩阵C对应输出特征图，m为矩阵A的行数，n为矩阵A的列数，矩阵A对应卷积核，矩阵B对应输入特征图，i为取值为0～m-1的自然数，j为取值为0～n-1的自然数；