[发明专利]基于多任务网络的训练方法和装置

说明书

本发明提供了一种基于多任务网络的训练方法和装置，多任务网络包括检测网络和分割网络，方法包括：将多个训练样本输入检测网络，对检测网络进行训练，确定检测网络在训练完成时的训练参数和每个训练样本对应的多种第一分辨率的特征图；将每个训练样本对应的多种第一分辨率的特征图输入分割网络进行卷积计算、上采样操作，确定每个第二分辨率对应的分割特征图，直至以每个第二分辨率对应的分割特征图与对应训练样本中的分割标记作为输入的分割网络的损失函数的曲线趋于收敛，通过分别训练检测网络和分割网络，并对参与分割网络训练的特征进行丰富，在不损失检测样本的精度的情况下，获得较为精确的分割结果，节省成本。

技术领域

本发明涉及神经网络训练的技术领域，尤其是涉及一种基于多任务网络的训练方法和装置。

背景技术

随着自动驾驶技术的发展，目标物自动识别成为自动驾驶的关键，当前一般应用同步训练的检测网络和分割网络对目标物进行自动识别。

经发明人研究知晓，当前通过具有检测标记和分割标记的训练样本同时训练检测和分割网络，由于分割标记样本的成本较高，一般参与网络训练的具有分割标记样本的数量较为有限。因此，当仅有检测标记的检测样本的数量级较大时，该训练模型无法在不损失检测样本的精度的情况下，获得较为精确的分割结果。

发明内容

有鉴于此，本发明的目的在于提供一种基于多任务网络的训练方法和装置，通过分别训练检测网络和分割网络，并对参与分割网络训练的特征进行丰富，在不损失检测样本的精度的情况下，获得较为精确的分割结果，节省成本。

第一方面，实施例提供一种基于多任务网络的训练方法，所述多任务网络包括检测网络和分割网络，所述方法包括：

将多个训练样本输入检测网络，对所述检测网络进行训练，确定所述检测网络在训练完成时的训练参数和每个训练样本对应的多种第一分辨率的特征图，其中，所述训练样本包括检测标记和分割标记，所述特征图携带有目标物的检测类别标签；

将所述每个训练样本对应的多种第一分辨率的特征图输入所述分割网络进行卷积计算、上采样操作，确定每个第二分辨率对应的分割特征图，直至以所述每个第二分辨率对应的分割特征图与对应所述训练样本中的分割标记作为输入的所述分割网络的损失函数的曲线趋于收敛，所述第二分辨率基于所述第一分辨率进行确定，所述分割特征图携带有所述目标物的分割类别标签，所述分割网络的训练参数基于所述检测网络的训练参数进行确定。

在可选的实施方式中，所述方法还包括：

基于所述检测类别标签和所述分割类别标签对所述目标物进行识别。

在可选的实施方式中，所述方法还包括：

基于每个分割特征图中每个分割类别的像素数量确定所述每个分割类别引入的权重；

根据所述权重平均化所述每个第二分辨率对应的分割特征图的像素数量。

在可选的实施方式中，所述检测网络确定的特征图包括尺寸为所述训练样本的1/8、第一分辨率为80*45的特征图、尺寸为所述训练样本的1/16、第一分辨率为40*23的特征图和尺寸为所述训练样本的1/32、第一分辨率为20*12的特征图。

在可选的实施方式中，将所述每个训练样本对应的多种第一分辨率的特征图输入所述分割网络进行卷积计算、上采样操作，确定每个第二分辨率对应的分割特征图的步骤，包括：

对所述检测网络确定的第一分辨率为20*12的分割特征图进行卷积计算、上采样操作，得到第二分辨率为40*23的分割特征图；

将所述检测网络确定的第一分辨率为40*23的分割特征图进行卷积计算，并与所述第二分辨率为40*23的分割特征图与进行元素加和，再进行上采样操作，得到第二分辨率为80*45的分割特征图；