[发明专利]基于演化计算的机器视觉多任务神经网络架构搜索方法

权利要求书

1.一种基于演化计算的机器视觉多任务神经网络架构搜索方法，其特征在于，包括如下步骤：

S1、初始化执行场景语义分割任务和物体表面法线估计任务的神经网络，利用执行场景语义分割任务的神经网络模型和物体表面法线任务的神经网络模型所提取的图像特征特作为特征融合点，将执行场景分割任务和物体表面法线任务的神经网络模型进行拼接，其拼接方式为，在执行场景语义分割任务和物体表面法线估计任务的神经网络中的任意一种神经网络里，其每一层主干网络随机连接至另一种神经网络任一层主干网络所提取的特征融合点，表示为矩阵D_a和D_b，

其中，D_a和D_b分别为场景语义分割任务和物体表面法线估计任务，为场景语义分割任务和物体表面法线估计任务，两者互为任务A和任务B，矩阵D_a表示任务B骨干网络中各层与任务A特征融合点的连接情况，矩阵D_a的第i行表示任务A的第i个特征融合点；若位置(i,j)为1，表示存在从任务B的第j层指向任务A的第i个特征融合点的连接，而0表示没有连接；矩阵D_b表示任务A的主干网络到任务B特征融合点的连接情况；

形成神经网络模型种群；

S2、计算步骤S1中初始化执行场景语义分割任务和物体表面法线估计任务的神经网络在执行对应图像分析任务时的评价指标，具体方式为：

对场景语义分割任务采用联合平均交集和像素精度评价执行语义分割任务时的性能，并采用Softmax交叉熵作为损失函数；对表面法线估计任务，采用角度距离的均值和中值误差作为执行表面法线任务时的性能，并使用余弦损失表示与预测和真实图像的角度差；

S3、根据步骤S2的评价指标，以设定比例从步骤S1初始化的模型种群中选择父本模型；

S4、利用步骤S3得到的父本模型生成子本模型，并计算子本模型的多任务泛化能力指标；

S5、将步骤S3选择的父本模型和步骤S4生成的子本模型合并生成新的模型种群，并返回步骤S3进行迭代，直至满足终止条件。

2.根据权利要求1所述的一种基于演化计算的机器视觉多任务神经网络架构搜索方法，其特征在于，所述步骤S1具体包括：

S11、初始化两个多任务神经网络的编码矩阵，并将矩阵中的数据置零；

S12、在0-1之间生成一个随机数，分别遍历矩阵中的每一行，若所遍历的位置生成的随机数大于融合概率阈值，则将两个神经网络进行特征融合连接，其中，该位置的连接点为特征融合点，该行为特征融合边；

S13、重复执行步骤S11-S12直至生成具有多个多任务神经网络个体的模型种群。

3.根据权利要求2所述的一种基于演化计算的机器视觉多任务神经网络架构搜索方法，其特征在于，所述步骤S2中多任务泛化能力指标的计算过程为：

S21、根据步骤S1中多任务神经网络的不同任务，为每个任务选择量级不同的损失函数；

S22、根据步骤S21中不同量级定义对应损失函数的权重；

S23、对步骤S21和S22中的损失函数和权重使用加权算法作为对应多任务神经网络的多任务泛化能力指标，表示为：

其中，w_i为第i个任务的损失函数，L_i为第i任务的损失函数对应的权重，k为任务总数。

4.根据权利要求3所述的一种基于演化计算的机器视觉多任务神经网络架构搜索方法，其特征在于，所述步骤S3具体包括：

S31、从步骤S1初始化的模型种群中随机选择两个多任务神经网络个体模型；

S32、比较所选择的两个多任务神经网络个体模型的多任务泛化能力指标，将多任务泛化能力指标更高的个体模型作为一个父本模型；

S33、重复步骤S31-S32直至父本模型数量与步骤S1初始化后的模型种群中多任务神经网络个体数量相同。