[发明专利]一种神经网络通道参数的搜索方法及相关设备

说明书

本申请实施例公开了一种神经网络通道参数的搜索方法及相关设备，首次提出一种基于算力(如FLOPs)的使用效率的神经网络通道参数搜索方法，其应用于人工智能领域，首先计算网络各层对算力的使用效率，然后增加算力的使用效率高的层的通道数，减少算力的使用效率低的层的通道数，该过程可迭代进行，最终获得对算力的使用效率非常高效的神经网络，缓解了目前神经网络通道参数搜索方法没有充分考虑到复杂度、使用效率低、搜索速度慢等问题。本申请还提出了一种计算神经网络各层对算力的使用效率的方法，该方法以一定比例随机丢弃部分通道并测试其对网络性能的影响，丢弃的通道对于不同测试样例是随机的，以此计算神经网络每层对算力的使用效率。

技术领域

本申请涉及人工智能领域，尤其涉及一种神经网络通道参数的搜索方法及相关设备。

背景技术

近年来，随着深度学习的发展，神经网络被应用到各个领域，神经网络的网络结构对其性能有重要影响。因此，设计神经网络的网络结构的技术受到业界的广泛关注。该网络结构的设计最初是人为手工设计，人工手工设计耗时且性能也有待提高，因此网络结构搜索技术得到了长足发展。

网络结构搜索技术是一种优化网络结构的技术，其通过自动搜索的策略来设计网络结构，即网络结构搜索技术在定义的搜索空间内自动地寻找较好的网络结构。目前，基于网络结构搜索技术得到的网络结构的性能已经超过了人为设计的网络结构。其中，神经网络通道参数是一种可以搜索的网络结构参数。通过自动搜索的策略来设计神经网络通道参数的方法被称为神经网络通道参数搜索技术，通过神经网络通道参数搜索技术优化神经网络通道参数能够有效提升神经网络的性能。

目前普遍采用的网络通道数参数搜索技术是基于剪枝的神经网络通道参数搜索方法，该方法通过剪掉不重要的通道来获取更高效的神经网络通道参数。然而，该方法剪掉不重要的通道时只考虑是否重要，没考虑性价比。此外，剪枝是通过除去不重要通道得到神经网络通道参数，不是直接对通道数的搜索，因此会有偏差。

发明内容

本申请实施例提供了一种神经网络通道参数的搜索方法及相关设备，可用于人工智能领域中，该方法基于神经网络中任意一层对算力的使用效率调整训练后的神经网络的神经网络通道参数，实现神经网络的神经网络通道参数的搜索，从而在不提升神经网络复杂度的前提下提高神经网络的性能。

基于此，本申请实施例提供以下技术方案：

第一方面，本申请实施例首先提供一种神经网络通道参数的搜索方法，可用于人工智能领域中，该方法包括：首先，训练设备会获取数据集，该数据集就包括多个训练数据及多个验证验证数据。之后，训练设备会根据数据集中的多个训练数据对初始神经网络进行训练，训练的任务可以是分类、检测、分割等，之后就可以得到训练后的神经网络，训练设备得到训练好的神经网络之后，会进一步根据数据集中的多个验证数据确定训练后的神经网络中任意一层对算力的使用效率，该算力的使用效率为单位算力引起的网络性能改变量，最后，训练设备根据算力的使用效率调整训练后的神经网络的神经网络通道参数，从而得到第一神经网络。

在本申请上述实施例中，首次提出了一种基于算力的使用效率的神经网络通道参数搜索方法，该方法首先计算神经网络各层对算力的使用效率，并基于得到的神经网络各层对算力的使用效率调整训练后的神经网络的神经网络通道参数，从而得到第一神经网络。这样得到的第一神经网络就是调整过一次神经网络通道参数的神经网络，其比未经过神经网络通道参数调整的神经网络的性能是更好的。