[发明专利]一种分类网络及其实现方法和装置

说明书

本申请公开了一种分类网络及其实现方法和装置，其中方法包括：基于IRv2算法构建包括Stem模块、多个Inception模块和多个IR模块的分类网络，分类网络的批标准化BN层使用γ参数；对分类网络进行初始化，并对初始化的分类网络进行稀疏化训练，得到稀疏化的γ参数；基于稀疏化的γ参数，对Stem模块、剪枝Inception模块和多个IR模块进行network slimming剪枝，对非剪枝Inception模块不进行network slimming剪枝。该技术方案能够既保证分类网络的分类效果，同时实现网络结构的精简，从而提高训练效率，减少推理时间和内存占用，节省人力、工时和经费，使得分类网络可以部署在不同算力的硬件设备上。

技术领域

本申请涉及神经网络技术领域，尤其涉及一种分类网络及其实现方法和装置。

背景技术

IRv2算法的全称是Inception-ResNet-v2，即第二代将Inception与ResNet(残差网络)进行结合以进行分类的算法，结合了Inception与ResNet的优点，能够得到较深的分类网络，分类性能十分不错。但基于IRv2算法得到的分类网络也具有复杂度高、内存占用大等问题，亟需解决。

发明内容

本申请实施例提供了一种分类网络及其实现方法和装置，能够既保证分类网络的分类效果，同时降低分类网络的复杂度，得到更轻量的分类网络。

本申请实施例采用下述技术方案：

第一方面，本申请实施例提供一种分类网络的实现方法，包括：基于IRv2算法构建包括Stem模块、多个Inception模块和多个IR模块的分类网络，其中，多个Inception模块包括剪枝Inception模块和非剪枝Inception模块，分类网络的批标准化BN层使用γ参数；对分类网络进行初始化，并对初始化的分类网络进行稀疏化训练，得到稀疏化的γ参数；基于稀疏化的γ参数，对稀疏化训练后的分类网络进行剪枝处理，其中，对Stem模块、剪枝Inception模块和多个IR模块进行network slimming剪枝，对非剪枝Inception模块不进行network slimming剪枝。

在一些实施例中，分类网络的实现方法中，对稀疏化训练后的分类网络进行剪枝处理包括：对Stem模块中首个卷积层的输入通道，不进行network slimming剪枝处理。

在一些实施例中，分类网络的实现方法中，对稀疏化训练后的分类网络进行剪枝处理包括：依据Stem模块中最后一个卷积层的输出通道的数量和序号，确定剪枝Inception模块中，每一个分支下首个卷积层的输入通道的数量和序号。

在一些实施例中，分类网络的实现方法中，Inception模块包括Mixed_5b模块和Mixed_7a模块，其中Mixed_5b模块为剪枝Inception模块，Mixed_7a模块为非剪枝Inception模块。

在一些实施例中，分类网络的实现方法中，对稀疏化训练后的分类网络进行剪枝处理包括：对IR模块中每一个inception分支下的首个卷积层的输入通道，不进行networkslimming剪枝。

在一些实施例中，分类网络的实现方法中，对稀疏化训练后的分类网络进行剪枝处理包括：根据各inception分支中最后一个卷积层的输出通道的数量和序号，确定IR模块中，连接在concat层后的首个卷积层的输入通道的数量和序号。

在一些实施例中，分类网络的实现方法中，对Stem模块、剪枝Inception模块和多个IR模块进行network slimming剪枝包括：对Block35模块、Block17模块以及Block8模块这三种IR模块进行network slimming剪枝。