[发明专利]一种参数优化方法及相关装置

权利要求书

1.一种参数优化方法，其特征在于，应用于包括主干网络和多个分支网络的神经网络，所述主干网络的输出为所述多个分支网络中每个分支网络的输入，所述方法包括：

基于所述神经网络的损失函数计算一阶梯度；

基于所述主干网络的损失函数计算所述主干网络的费雪信息矩阵；

基于所述一阶梯度和所述主干网络的费雪信息矩阵对所述主干网络的参数进行优化；

基于所述目标分支网络的损失函数计算所述目标分支网络的费雪信息矩阵，所述目标分支网络为所述多个分支网络中的一个；

基于所述一阶梯度和所述目标分支网络的费雪信息矩阵对所述目标分支网络的参数进行优化。

2.根据权利要求1所述的方法，其特征在于，在所述基于所述主干网络的损失函数计算所述主干网络的费雪信息矩阵之前，所述方法还包括：

基于所述主干网络的输出所满足的概率分布构建所述主干网络的损失函数。

3.根据权利要求2所述的方法，其特征在于，所述基于所述主干网络的输出所满足的概率分布构建所述主干网络的损失函数包括：

以至少一个样本为所述神经网络的输入，获取所述主干网络的输出；

基于所述主干网络的输出所满足的概率分布获取所述主干网络的输出的参考值；

基于所述主干网络的输出以及所述主干网络的输出的参考值构建所述主干网络的损失函数。

4.根据权利要求2或3所述的方法，其特征在于，在所述基于所述主干网络的输出所满足的概率分布构建所述主干网络的损失函数之前，所述方法包括：

基于所述主干网络的拓扑结构确定所述主干网络的输出所满足的概率分布。

5.根据权利要求1至4中任意一项所述的方法，其特征在于，在所述基于所述目标分支网络的损失函数计算所述目标分支网络的费雪信息矩阵之前，所述方法还包括：

基于所述目标分支网络的输出所满足的概率分布构建所述目标分支网络的损失函数。

6.根据权利要求5所述的方法，其特征在于，所述基于所述目标分支网络的输出所满足的概率分布构建所述目标分支网络的损失函数包括：

以至少一个样本为所述神经网络的输入，获取所述目标分支网络的输出；

基于所述目标分支网络的输出所满足的概率分布获取所述目标分支网络的输出对应的参考值；

基于所述目标分支网络的输出以及所述目标分支网络的输出对应的参考值构建所述目标分支网络的损失函数。

7.根据权利要求5或6所述的方法，其特征在于，所述多个分支网络用于学习多个任务，且所述多个分支网络中的每个分支网络用于学习所述多个任务中的一个任务；

在所述基于所述目标分支网络的输出所满足的概率分布构建所述目标分支的损失函数之前，所述方法包括：

基于所述目标分支网络所学习的任务的类型，确定所述目标分支网络的输出所满足的概率分布。

8.根据权利要求7所述的方法，其特征在于，所述基于所述目标分支网络所学习的任务的类型，确定所述目标分支网络的输出所满足的概率分布包括：

基于目标分支网络所学习的任务的类型为分类任务，将多项分布作为所述目标分支网络的输出所满足的概率分布。

9.根据权利要求7所述的方法，其特征在于，所述基于所述目标分支网络所学习的任务的类型，确定所述目标分支网络的输出所满足的概率分布包括：

基于目标分支网络所学习的任务的类型为回归类任务，将多元正态分布作为所述目标分支网络的输出所满足的概率分布。