[发明专利]资源有效的神经架构

权利要求书

1.用于执行资源有效的神经架构搜索的计算机实施方法，包括：

使用包括网络嵌入递归神经网络、缩放递归神经网络和动作递归神经网络的策略网络：

使用所述网络嵌入递归神经网络将神经网络架构转换成所述神经网络架构的网络嵌入，其中，所述神经网络架构包括一个或多个层、一个或多个网络模块或一个或多个层和一个或多个网络模块，并且所述一个或多个层或者一个或多个网络模块中的每个均具有至少一个相应特征；

使用所述缩放递归神经网络来识别所述神经网络架构的特征中的一个或多个语音输入或图像输入特征，其中，所述缩放递归神经网络接收所述神经网络架构的所述网络嵌入；

使用所述动作递归神经网络来确定是移除所述神经网络架构的一部分、保持所述神经网络架构的一部分还是向所述神经网络架构添加一部分，其中，所述动作递归神经网络接收所述神经网络架构的所述网络嵌入，其中所述神经网络架构的一部分为层或一个或多个模块，所述动作递归神经网络的输出是所述语音输入或图像输入搜索空间中的方向变化，限定所述搜索空间包括对图像分类神经网络架构的逐层搜索和模块搜索以及对关键词检测网络架构的逐层搜索；

通过以下步骤创建改变的神经网络架构：

响应于所述动作递归神经网络指示移除一部分，从所述神经网络架构移除所述一部分并根据所移除的部分来调整一个或多个输入，其中所述一个或多个输入为语音输入或图像输入；

响应于所述动作递归神经网络指示保持一部分，改变所述神经网络架构的由所述缩放递归神经网络指示的一个或多个特征；以及

响应于所述动作递归神经网络指示插入一部分，通过插入具有特征的所述一部分来改变所述神经网络架构，其中，所述一部分及其特征从分布中采样；以及

输出改变后的神经网络架构。

2.根据权利要求1所述的计算机实施方法，还包括：

训练改变后的神经网络架构直至收敛；以及

当在多个资源约束环境下操作时，确定经训练的改变后的神经网络架构的一个或多个性能度量和一个或多个资源使用度量；以及

基于所述一个或多个性能度量和所述一个或多个资源使用度量中的至少一些确定用于所述改变后的神经网络架构的即时回报。

3.根据权利要求2所述的计算机实施方法，还包括：

重复使所述改变后的神经网络架构作为所述神经网络架构并执行权利要求1和2中的步骤以生成经训练的改变后的神经网络架构的集合及其相应的即时回报，直至达到停止条件。

4.根据权利要求3所述的计算机实施方法，其中，为所述策略网络生成所述经训练的改变后的神经网络架构的集合及其相应的即时回报为一个分支，并且所述计算机实施方法还包括以下步骤：

针对至少一个或多个附加分支中的每个，为所述策略网络生成经训练的改变后的神经网络架构的集合及其相应的即时回报。

5.根据权利要求4所述的计算机实施方法，还包括：

应用策略梯度，所述策略梯度使用所述经训练的改变后的神经网络架构的集合的相应即时回报中的至少一些来更新所述策略网络，以形成经更新的策略网络。

6.根据权利要求5所述的计算机实施方法，其中，还包括以下步骤：

重复以下步骤，直至达到停止条件：

使所述经更新的策略网络作为所述策略网络；

使用其相应的即时回报来选择用于所述分支中的一个或多个的起始神经网络架构；

执行权利要求1至5中的步骤，来生成经训练的改变后的神经网络架构的最终集合及其相应的即时回报；

针对特定资源约束的使用，从经训练的改变后的神经网络架构的最终集合中选择改变的神经网络架构。

7.根据权利要求1所述的计算机实施方法，其中，

所述搜索空间包括神经网络层类型及其相应的一个或多个特征、模块类型及其相应的一个或多个特征，或者既包括神经网络层类型及其相应的一个或多个特征又包括模块类型及其相应的一个或多个特征，所述搜索空间与所述动作递归神经网络的输出结合使用以确定所述神经网络架构的具体改变。