[发明专利]神经网络结构的采样方法和装置

权利要求书

1.一种神经网络结构的采样方法，包括：

对表征神经网络模型的性能随神经网络模型的结构的概率分布的目标函数进行参数初始化；

通过执行多次迭代操作，从预设的网络结构搜索空间中搜索出用于预测所述目标函数的目标网络结构集合，其中，所述网络结构搜索空间包括用于处理深度学习任务数据的神经网络结构；

所述迭代操作包括：

在预设的网络结构搜索空间中采样出未被采样过的神经网络结构，作为当前迭代操作中的候选模型结构；

根据当前的目标函数，计算在上一次迭代操作中确定出的目标网络结构集合中添加所述当前迭代操作中的候选模型结构后的信息熵增益；

从当前迭代操作中的候选模型结构中确定出使得所述信息熵增益最大的候选模型结构，添加至目标网络结构集合中；

利用当前的目标函数估计所述目标网络结构集合中的目标网络结构的预测性能，并获取基于对应的深度学习任务数据训练的所述目标网络结构集合中的目标网络结构的实际性能，根据所述预测性能与所述实际性能之间的偏差生成反馈信息，基于所述反馈信息，采用反向传播的方式更新所述目标函数的参数；

所述方法还包括：利用所述目标函数，预测所述网络结构搜索空间内的神经网络结构的性能分布；以及基于预设的性能约束条件，以及预测出的所述网络结构搜索空间内的神经网络结构的性能分布，确定出执行预设的深度学习任务的神经网络结构；所述预设的性能约束条件包括：处理器的功耗约束条件。

2.根据权利要求1所述的方法，其中，所述迭代操作还包括：

响应于确定所述目标网络结构的预测性能与所述实际性能之间的偏差满足预设的收敛条件，将当前迭代操作后得到的目标网络结构集合确定为搜索出的用于预测所述目标函数的目标网络结构集合。

3.根据权利要求1所述的方法，其中，所述方法还包括：

基于执行多次迭代操作后获得的目标网络结构集合，估计所述表征神经网络模型的性能随神经网络模型的结构的概率分布的目标函数。

4.根据权利要求1所述的方法，其中，所述神经网络结构的性能包括运行所述神经网络结构所产生的功耗。

5.一种神经网络结构的采样装置，包括：

初始化单元，被配置为对表征神经网络模型的性能随神经网络模型的结构的概率分布的目标函数进行参数初始化；

搜索单元，被配置为通过执行多次迭代操作，从预设的网络结构搜索空间中搜索出用于预测所述目标函数的目标网络结构集合，其中，所述网络结构搜索空间包括用于处理深度学习任务数据的神经网络结构；

所述搜索单元执行的所述迭代操作包括：

在预设的网络结构搜索空间中采样出未被采样过的神经网络结构，作为当前迭代操作中的候选模型结构；

根据当前的目标函数，计算在上一次迭代操作中确定出的目标网络结构集合中添加所述当前迭代操作中的候选模型结构后的信息熵增益；

从当前迭代操作中的候选模型结构中确定出使得所述信息熵增益最大的候选模型结构，添加至目标网络结构集合中；

利用当前的目标函数估计所述目标网络结构集合中的目标网络结构的预测性能，并获取基于对应的深度学习任务数据训练的所述目标网络结构集合中的目标网络结构的实际性能，根据所述预测性能与所述实际性能之间的偏差生成反馈信息，基于所述反馈信息，采用反向传播的方式更新所述目标函数的参数；

所述装置还包括：

预测单元，被配置为利用所述目标函数，预测所述网络结构搜索空间内的神经网络结构的性能分布；以及

确定单元，被配置为基于预设的性能约束条件，以及预测出的所述网络结构搜索空间内的神经网络结构的性能分布，确定出执行预设的深度学习任务的神经网络结构；

所述预设的性能约束条件包括：处理器的功耗约束条件。

6.根据权利要求5所述的装置，其中，所述搜索单元执行的所述迭代操作还包括：

响应于确定所述目标网络结构的预测性能与所述实际性能之间的偏差满足预设的收敛条件，将当前迭代操作后得到的目标网络结构集合确定为搜索出的用于预测所述目标函数的目标网络结构集合。