[发明专利]一种训练神经网络的方法、装置、服务器及系统

说明书

本申请实施例公开了一种训练神经网络的方法、装置、服务器及系统，用于降低超网络中子网络间参数的干扰，以提高超网络中子网络的性能。本申请实施例方法包括：构建第一超网络，该第一超网络中包含共享参数的X个子网络；对X个子网络中的Y个子网络训练，并基于Y个子网络的训练结果更新第一超网络的参数；基于第一超网络的参数构建第二超网络，该第二超网络包括M个分支网络，M个分支网络包含X个子网络，且X个子网络中任意一个子网络仅包含于一个分支网络中，同一分支网络中的所有子网络共享参数；对X个子网络中的Z个子网络进行训练，然后基于Z个子网络的训练结果更新Z个子网络各自所属的分支网络的参数。

技术领域

本申请实施例涉及人工智能技术领域，尤其涉及一种训练神经网络的方法、装置、服务器及系统。

背景技术

随着人工智能技术的发展，神经网络在终端设备上的应用越来越广泛。由于不同的应用场景或不同的终端设备对神经网络的需求不同，所以需要根据应用场景或终端设备选择合适的神经网络。以前，神经网络都是人工设计的，近年来，诞生了神经网络结构搜索(Neural Architecture Search,NAS)算法，该算法能够自动搜索出合适的神经网络。

其中，一次训练多处部署(Once For All，OFA)算法是NAS算法中重要的一种。采用OFA算法搜索神经网络的过程包括：先选择目标网络，然后设计一定的规则对目标网络进行变化以得到搜索空间，再根据搜索空间构建超网络，该超网络包含搜索空间中的所有子网络。在将超网络中的所有子网络训练收敛后，从超网络中采样一部分子网络进行性能评估，最终根据性能评估结果选择一个子网络作为部署在终端设备上的神经网络。

由于超网络中的所有子网络共享参数，所以在对超网络中子网络的训练过程中，一个子网络的参数改变会导致与其共享参数的其他子网络的参数均发生变化，即超网络中子网络间参数的干扰较大，对超网络中子网络的性能影响较大。

发明内容

本申请实施例提供了一种训练神经网络的方法、装置、服务器及系统，用于降低超网络中子网络间参数的干扰，以提高超网络中子网络的性能。

本申请实施例第一方面提供了一种训练神经网络的方法，包括：基于搜索空间构建第一超网络，第一超网络中包含X个子网络，X个子网络共享参数，其中，X个子网络共享参数是指对于X个子网络中的任意两个子网络，相同网络结构的部分的参数相同，X为大于1的整数；对X个子网络中的Y个子网络进行训练，其中，训练Y个子网络的方法可以有多种；基于X个子网络中的Y个子网络的训练结果更新第一超网络的参数，Y为小于或等于X的正整数；基于第一超网络的参数构建第二超网络，具体地，可以将第一超网络中的X个子网络划分为M组，构建得到的第二超网络包括M个分支网络，M个分支网络包含X个子网络，且X个子网络中任意一个子网络仅包含于一个分支网络中，同一分支网络中的所有子网络共享参数，M为大于1的整数；对X个子网络中的Z个子网络进行训练，其中，训练Z个子网络的方法可以有多种；基于X个子网络中的Z个子网络的训练结果，更新Z个子网络各自所属的分支网络的参数，Z为小于或等于X的正整数。

从X个子网络中选择Y个子网络的方法与X个子网络中选择Z个子网络的方法可以相同，以选择Y个子网络为例，可以通过改变第一超网络中弹性核大小k的取值，从X个子网络中选择Y个子网络；可以通过改变改变第一超网络中弹性深度d的取值，从X个子网络中选择Y个子网络；还可以通过改变第一超网络中改变弹性宽度e的取值，从X个子网络中选择Y个子网络。

先对X个子网络中的Y个子网络进行训练，并基于Y个子网络的训练结果更新第一超网络的参数，从而保证X个子网络具备较好的性能；然后对X个子网络中的Z个子网络进行训练，并基于Z个子网络的训练结果，更新Z个子网络各自所属的分支网络的参数；由于同一分支网络中的所有子网络共享参数，且基于Z个子网络中一个子网络的训练结果，仅会更新该子网络所属的分支网络的参数，而不会导致其他分支网络中子网络的参数变化，从而降低了X个子网络间参数的相互干扰，使得X个子网络的性能得到进一步提高，从而使得最终部署在终端设备上的神经网络的性能较好。