[发明专利]神经网络的优化方法及装置、设备和存储介质

说明书

本发明公开了一种神经网络的优化方法及装置、设备和存储介质，所述神经网络的优化方法，包括：获取待优化的神经网络的拓扑结构；基于所述拓扑结构，对所述神经网络进行剪枝处理，以优化所述神经网络。根据本发明的神经网络的优化方案，基于拓扑结构对神经网络进行剪枝处理，能够减小神经网络的大小和计算量，从而提升神经网络的计算推理速度。

技术领域

本发明涉及计算机领域，尤其是涉及一种神经网络的优化方法及装置、设备和计算机可读存储介质。

背景技术

当前，神经网络已广泛应用于多种机器学习场景，神经网络的推理(Inference)指的是基于训练好的网络模型对测试数据进行计算和预测的计算推理过程。通常，可以对神经网络的推理进行加速，以缩短其运算所消耗的时常。目前对神经网络推理加速的框架主要有以下几种：

①由英伟达公司推出的TensorRT：TensorRT是一种高性能神经网络推理引擎，用于在生产环境中部署深度学习应用程序，应用有图像分类、分割和目标检测等，可提供最大的推理吞吐量和效率。该框架只能用于推理，不能用于训练，其主要通过1)消除未使用的输出层以避免不必要的计算；2)在可能的情况下，将卷积层、批标准化层以及激活函数层融合以形成单个层，包括垂直层融合和水平层融合，来实现推理加速。

②由苹果公司推出的Core ML：Core ML主要针对设备的性能进行了优化，最大限度地减少内存占用和功耗，该框架主要通过系统层的优化以加速推理过程。

③由腾讯公司推出的NCNN：NCNN是手机端极致优化的高性能神经网络前向计算框架。

④由高通公司推出的骁龙神经处理引擎(Snapdragon Neural ProcessingEngine，SNPE)：该框架是一个神经网络处理引擎，可运行于搭载了高通Zeroth机器智能平台的820芯片处理器，开发者可以在SNPE上搭建自己的深度学习网络模型。

⑤由微软推出的嵌入式学习库(Embedded Learning Library，ELL)：该框架旨在把部分云端的机器学习计算转移到嵌入式设备上进行。

⑥开源框架WebDNN：WebDNN(Web Deep Neural Network，Web深度神经网络)是一个专注于终端用户设备上推理阶段的执行优化的开源框架，它包含两种模型：图形转译器，用于将训练过的模型转译并优化成能够在浏览器上执行的格式；以及描述符运行器，用于在浏览器上执行转换过的模型。

以上平台多为基于一种硬件或一个特定场景(如浏览器下)下推理计算的系统层优化。但是，近年来由于神经网络结构在向更深、更宽的层面深度发展，因此一个神经网络应用于一种硬件或一个特定场景的模式往往需要消耗较长的计算推理时间，才能得到推理结果，这不利于神经网络技术的发展和推广，尤其是对那些响应延迟敏感的业务例如线上服务而言是不可容忍的。

发明内容

本发明实施例提供一种神经网络的优化方法及装置、设备和计算机可读存储介质，用以解决神经网络计算推理慢的问题。

一方面，本发明实施例提供一种神经网络的优化方法，包括：

获取待优化的神经网络的拓扑结构；

基于所述拓扑结构，对所述神经网络进行剪枝处理，以优化所述神经网络。

另一方面，本发明实施例提供了一种神经网络的优化装置，所述装置包括：

拓扑结构获取模块，用于获取待优化的神经网络的拓扑结构；

剪枝处理模块，用于基于所述拓扑结构，对所述神经网络进行剪枝处理，以优化所述神经网络。

再一方面，本发明实施例提供了一种设备，设备包括：

存储器，用于存储程序；