[发明专利]卷积神经网络的优化方法、装置、存储介质和系统

说明书

本申请涉及一种卷积神经网络优化方法、装置、存储介质和系统。所述方法包括：将冗余神经网络层的卷积计算融合到卷积层中，并删除多余的神经网络层。采用本方法能够使优化后的网络网络性能大幅度提升。

技术领域

本申请涉及人工智能技术领域，特别是涉及一种卷积神经网络的优化方法、装置、存储介质和系统。

背景技术

卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的多层神经网络，是深度学习的代表算法之一，擅长处理图像特别是大图像的相关机器学习问题。随着数字电子技术的不断发展，各类人工智能(ArtificialIntelligence，AI)芯片的快速发展对于神经网络处理器的要求也越来越高。卷积神经网络算法作为智能芯片广泛应用的算法之一，运行于神经网络处理器中。

然而，传统的卷积神经网络结构中存在大量连续的Convolution，Batch Norm，Scale层结构，在进行前向传播时，Batch Norm层和Scale层的构建和执行消耗了大量计算资源，并且在执行卷积计算过程中并没有起到太大作用，反而让网络结构重复、复杂。

发明内容

基于此，有必要针对上述技术问题，提供一种能够优化卷积神经网络结构的的卷积神经网络优化方法、装置、存储介质和系统。

一种卷积神经网络优化方法，所述方法包括：

获取第一配置参数及第二配置参数，其中，所述第一配置参数包括Batch Norm层的第一训练参数及Batch Norm层的第二训练参数；所述第二配置参数包括Scale层的第一训练参数及Scale层的第二训练参数；

将所述Batch Norm层的第一训练参数以及所述Scale层的第一训练参数与卷积层的权值参数融合，得到第一融合结果；

将所述Batch Norm层的第二训练参数以及所述Scale层的第二训练参数与卷积层的偏置参数融合，得到第二融合结果；

根据所述第一融合结果以及所述第二融合结果，对所述卷积神经网络进行优化。

在其中一个实施例中，所述将所述Batch Norm层的第一训练参数以及所述 Scale层的第一训练参数与卷积层的权值参数融合，得到第一融合结果，包括：

将所述Batch Norm层的第一训练参数、所述Scale层的第一训练参数以及所述卷积层的权值参数进行乘法运算，得到所述第一融合结果。

在其中一个实施例中，所述将所述Batch Norm层的第二训练参数以及所述 Scale层的第二训练参数与卷积层的偏置参数融合，得到第二融合结果，包括：

将所述Batch Norm层的第二训练参数、所述Scale层的第二训练参数以及所述卷积层的偏置参数进行加法运算，得到所述第二融合结果。

在其中一个实施例中，所述根据所述第一融合结果以及所述第二融合结果，对所述卷积神经网络进行优化，包括：

删除所述Batch Norm层以及所述Scale层，并将所述卷积层的权值参数更改为所述第一融合结果，将所述卷积层的偏置参数更改为所述第二融合结果。

在其中一个实施例中，所述将卷积层的输入数据分别与所述第一融合结果和所述第二融合结果进行卷积计算，得到卷积层的输出结果，包括：

将所述输入数据与所述第一融合结果进行乘法运算，得到第一运算结果；

将所述第一运算结果与所述第二融合结果进行加法运算，得到所述输出结果。