[发明专利]神经网络的架构优化训练

权利要求书

1.一种优化具有多个层的神经网络的方法，所述方法包括：

获得实现所述神经网络的推理平台的电路系统的架构约束；

在训练平台上训练所述神经网络，以生成所述多个层的网络参数和特征映射；以及

基于所述架构约束来约束所述网络参数、所述特征映射或所述网络参数和所述特征映射两者。

2.根据权利要求1所述的方法，其中，所述架构约束包括多个约束，并且其中所述约束的步骤使用所述多个约束中的至少一个约束来被执行。

3.根据权利要求2所述的方法，其中，所述约束的步骤使用实现所述神经网络的期望精确度的最大数目的所述多个约束来被执行。

4.根据权利要求1所述的方法，其中，所述约束的步骤在训练所述神经网络的步骤期间被执行。

5.根据权利要求1所述的方法，其中，所述约束的步骤在训练所述神经网络的步骤之后被执行。

6.根据权利要求5所述的方法，还包括：

使用受约束的网络参数、受约束的特征映射或受约束的网络参数和受约束的特征映射两者在所述训练平台上重新训练所述神经网络，以生成新的网络参数。

7.根据权利要求1所述的方法，其中，所述架构约束包括基于所述推理平台的所述电路系统的计算功能的一个或多个约束。

8.根据权利要求7所述的方法，其中，所述计算功能包括所述推理平台的乘法累加电路系统的结构和数据宽度约束。

9.一种计算系统，包括：

硬件平台，用于训练神经网络，所述硬件平台包括至少一个处理器、存储器和训练平台；

软件平台，在所述硬件平台上执行，所述软件平台包括存储在所述存储器中的程序代码，所述程序代码是所述至少一个处理器可执行的，以执行以下功能：

获得实现所述神经网络的推理平台的电路系统的架构约束；

在所述训练平台上训练所述神经网络，以生成所述多个层的网络参数和特征映射；以及

基于所述架构约束来约束所述网络参数、所述特征映射或所述网络参数和所述特征映射两者。

10.根据权利要求9所述的计算系统，其中，所述架构约束包括多个约束，并且其中所述程序代码是可执行的，以使用所述多个约束中的至少一个约束来执行所述约束的功能。

11.根据权利要求9所述的计算系统，其中，所述程序代码是可执行的，以在所述神经网络的训练的功能期间执行所述约束的功能。

12.根据权利要求9所述的计算系统，其中，程序代码是可执行的，以在所述所述神经网络的训练的功能之后执行所述约束的功能。

13.根据权利要求12所述的计算系统，其中，所述程序代码是可执行的，以执行以下功能：

使用受约束的网络参数、受约束的特征映射或受约束的网络参数和受约束的特征映射两者在所述训练平台上重新训练所述神经网络，以生成新的网络参数。

14.根据权利要求9所述的计算系统，其中，所述架构约束包括基于所述推理平台的所述电路系统的计算功能的一个或多个约束。

15.根据权利要求14所述的计算系统，其中，所述计算功能包括所述推理平台的乘法累加电路系统的结构和数据宽度约束。