[发明专利]一种基于SqueezeNet的手写体数字识别方法

说明书

本发明公开了一种基于SqueezeNet的手写体数字识别方法，具体包括：（1）预处理识别的手写体数字样本；（2）构建SqueezeNet卷积神经网络模型；（3）训练SqueezeNet网络模型，并对手写体数字测试集样本进行测试；（4）得出识别结果。本发明中的SqueezeNet网络模型相比于传统的AlexNet有效地减少了网络参数的总量，并且提高了手写体数字识别的精度，具备了模型压缩的基础，后续可更好地应用于移动端设备、分布式训练以及嵌入式硬件上。

技术领域

本发明设计图像识别以及深度学习领域，具体是一种基于SqueezeNet的手写体数字识别方法。

背景技术

随着深度学习的快速发展，卷积神经网络(CNN)已经被广泛应用于手写数字识别等图像识别领域，并且取得了优良的识别效果。但网络中需要训练的参数数量太大，导致CNN对手写数字的识别精度虽然较高，但所需的训练时间长，在分布式训练上无法得到有效地应用(Forrest N.Iandola等人2016提出了分布式数据并行训练的通信开销与模型中的参数数量成正比)，而且难以将模型导入到移动设备上以及在FPGA和一些嵌入式硬件上进行部署，Jiantao Qiu等人提出了应该将尽量小的模型存储在小于10M的FPGA上，而不应让存储带宽限制了它的存储。而在2012年提出的AlexNet结构，虽然在ImageNet的识别精度上有了一定的提高，并且网络的泛化能力也得到了一定的增强，同时利用多GPU对网络进行了加速计算，但网络中的参数并没有得到有效地减少，网络模型仍然过大。

现如今，数字识别技术已经在我们的生活中得到了广泛应用，如车牌识别、身份证识别、银行票据识别等，并且具备了良好的识别效果，但由于网络参数过多，网络模型过大，网络模型所需的开销仍然较大，且在硬件设备上的应用也受到了很大的限制。所以不仅提高数字识别的精度是一个仍然需要考虑的问题，如何减少其网络模型的参数以及对网络模型进行压缩也值得我们去研究和探讨。

发明内容

发明目的：为了减少手写体数字识别的网络参数，本发明提出了一种基于SqueezeNet的手写体数字识别方法。通过该方法，可在不影响手写体数字识别精度的情况下，有效地减少网络中的参数。

本发明的技术方案如下：

一种基于SqueezeNet的手写体数字识别方法，包括：

(1)预处理识别的手写体数字样本；

所述的预处理识别的手写体数字样本，包括以下步骤：

(1.1)加载手写体数字的训练集、测试集以及标签值；

(1.2)对训练集、测试集进行归一化；

(1.3)将一维的样本数据重塑为28*28*1的三维矩阵样本数据。

所述的构建并初始化SqueezeNet卷积神经网络模型，包括以下步骤：

(2)构建并初始化SqueezeNet网络模型；

(2.1)初始化SqueezeNet的网络参数；

(2.1.1)设置每次训练在手写体数字训练集中所取的样本个数(batch_size)的大小以及网络训练的轮数(nb_epoch)次数，每次只取batch_size个样本对网络进行训练，能加快权值更新速率，有效地减少了网络运行所需内存及网络训练所需的时间；

(2.1.2)随机初始化网络的权值和偏置。

(2.2)定义SqueezeNet的网络模型；

(2.2.1)两个卷积层定义在网络的第一层和最后一层，第一层为96个1*1大小的卷积核，各层的激活函数为“ReLU”，输入的手写体数字图片卷积后通过该激活函数f(x)得到关于手写体数字轮廓、端点等一系列特征的特征图x，其前向传播过程满足公式(1)；