[发明专利]一体化解码器、多任务网络模型及训练方法

权利要求书

1.一体化解码器,其特征在于，由二级单元级联组成拓扑结构，将基础网络输出的多尺度特征信息转化为单一尺度特征信息表征；

所述二级单元由稀疏化卷积层、上采样反卷积层、信息融合通道堆叠层和二次稀疏化卷积层串联构成，所述二级单元的输入为高分辨率特征图和低分辨率特征图，二级单元的输出与输入的高分辨率特征图的尺寸保持一致。

2.如权利要求1所述的一体化解码器,其特征在于，所述一体化解码器由两部分网络结构组成，第一部分网络结构包括三个二级单元，基于基础网络输出的32、16、8下采样特征图获得下采样为16、8、4的融合特征图，第二部分网络结构包括两个二级单元，基于第一部分网络结构的输出获得下采样为4的融合特征。

3.如权利要求2所述的一体化解码器,其特征在于，

所述第一部分网络结构使用基础网络输出的32下采样特征图与16下采样特征图首先进入第一个二级单元输出16下采样融合特征图，然后使用16下采样融合特征图与基础网络输出的8下采样特征图进入第二个二级单元输出8下采样融合特征图，使用8下采样融合特征图与基础网络输出的4下采样特征图进入第三个二级单元输出4下采样融合特征图；

所述第二部分网络结构对两个二级单元采用与第一部分网络结构相同的级联方式，将所述第一部分网络结构得到的下采样为16、8、4的融合特征图下采样为4的融合特征。

4.基于权利要求1、2或3所述一体化解码器的多任务网络模型，其特征在于，包括基础网络、一体化解码器、目标检测任务头和场景分割任务头；

所述基础网络选取深度较浅，多尺度级联成分较大的网络模型，获取视频流当前帧的图像，将图像固定到指定分辨率作为模型的输入，提取多尺度特征信息；

所述一体化解码器将基础网络输出的多尺度特征信息转化为单一尺度特征信息表征，即最终得到下采样为4的融合特征；

所述目标检测任务头为CenterNet目标检测任务头，所述场景分割任务头为FCN场景分割任务头，前者用于生成候选框，后者生成场景掩码，获得车辆目标的位置信息和车道线掩码信息。

5.如权利要求4所述的多任务网络模型，其特征在于，所述基础网络选取HRnetv2模型。

6.如权利要求4或5所述的多任务网络模型，其特征在于，所述目标检测和场景分割任务头输出下采样为4的特征图尺寸为10x40x104，10层通道分别代表检测框目标中心点类别、检测框宽度、检测框高度、检测框中心点水平偏移量和检测框中心点竖直偏移量5个变量以及分割掩码为背景掩码和偏左车道、左车道、右车道、右车道的车道线掩码共5个变量；所述10个通道在分辨率为40x104的二维点集中，每一个点映射回原图得到目标位置和掩码像素类别。

7.基于权利要求4所述多任务网络模型的训练方法，其特征在于，包括以下步骤：

步骤S1、根据一体化解码器结构，调整训练阶段的损失函数和多任务的权重参数，涉及如下参数：

(1)目标检测损失函数：L_hm，L_wh，L_reg

(2)场景分割损失函数：L_seg

(3)一体化网络损失函数：L

(4)目标检测框中心位置类别预测值和真值：M_xy

(5)目标检测框宽度和高度的预测值和真值：wⁱ，hⁱ

(6)目标检测框中心位置与特征点位置了移量的预测值和真值：reg_xⁱ

(7)掩码像素类别的预测值和真值：y_i

(8)损失函数权重参数：λ_hm，λ_wh，λ_reg，λ_seg

步骤S2、使用基于CenterNet的目标检测损失函数以及基于FCN的场景分割损失函数来分别收敛两个任务，得到一体化网络的多任务损失函数，具体公式如下：

L＝λ_hmL_hm+λ_whL_wh+λ_regL_reg+λ_segL_seg (5)

步骤S3、对一体化网络进行模型训练，获得子任务之间均衡学习的模型参数。