[发明专利]基于轻量级网络的实时目标检测与语义分割的多任务学习方法

权利要求书

1.一种基于轻量级网络的实时目标检测与语义分割的多任务学习方法，其特征在于，包括特征提取模块、语义分割模块、目标检测模块以及多尺度感受野模块；所述的特征提取模块选择轻量级卷积神经网络MobileNet，通过MobileNet网络提取特征，送入上层的语义分割模块去完成道路可行驶区域与可选择行驶区域的分割问题，同时将特征送入下层的目标检测模块去完成道路场景下出现的物体检测；通过多尺度感受野模块增加特征图的感受域，用不同尺度的卷积解决多尺度难题，最终损失函数通过语义分割模块的损失函数与目标检测模块的损失函数进行加权求和，对总模块进行优化。

2.根据权利要求1所述的基于轻量级网络的实时目标检测与语义分割的多任务学习方法，其特征在于，所述的特征提取模块通过轻量级卷积神经网络MobileNet对RGB图像进行特征提取；MobileNet采用深度可分离卷积代替常规卷积来减小模型参数量。

3.根据权利要求1所述的基于轻量级网络的实时目标检测与语义分割的多任务学习方法，其特征在于，以SSD检测算法作为检测基线模型，在目标检测模块中加入多尺度感受野模块；所述的多尺度感受野模块由不同比例的空洞卷积组成，这些不同尺度的空洞卷积在不改变尺度大小的情况下去增加多尺度的感受野来解决多尺度问题。

4.根据权利要求3所述的基于轻量级网络的实时目标检测与语义分割的多任务学习方法，其特征在于，骨干网络MobileNet提取的特征送入上层的语义分割模块完成道路可行驶区域和可选择行驶区域的分割，对前两层特征图采取合并操作，同样在语义分割模块中加入多尺度感受野模块，对第二层特征图采取不同比率的空洞卷积。

5.根据权利要求3所述的基于轻量级网络的实时目标检测与语义分割的多任务学习方法，其特征在于，所述的目标检测模块中加入的多尺度感受野模块，分别用比率为5和7的空洞卷积去增加大尺度物体的感受野，用比率为3的空洞卷积增加小物体的感受野，同时采用不同大小的卷积层最后合并在一起。

6.根据权利要求4所述的基于轻量级网络的实时目标检测与语义分割的多任务学习方法，其特征在于，所述的语义分割模块中加入的多尺度感受野模块，分别选择比率为1，3，6的膨胀卷积去解决多尺度问题，最终特征图合并在一起后进行解码操作，完成对道路行驶区域的分割。

7.根据权利要求2至6任一项所述的基于轻量级网络的实时目标检测与语义分割的多任务学习方法，其特征在于，多任务学习的损失函数由各支路的损失函数加权求和得到，检测支路的损失函数为分类损失加上回归损失，Loss_检测＝Loss_分类+Loss_回归；分割支路的损失函数为Loss_分割＝weight[class]*

CrossEntorpyLoss(x,class)；最终损失函数Loss_总＝Loss_检测+Loss_分割；通过对这个总的loss进行优化，进行迭代训练，反向传播，最终完成Loss收敛，模型训练完成。

8.根据权利要求7所述的基于轻量级网络的实时目标检测与语义分割的多任务学习方法，其特征在于，模型的训练步骤包括：

S1.以Berkeley公开的数据集BDD100K为训练数据，道路对象检测任务的数据包含10个类别的2D边界框，可驾驶区域分割任务包含两个不同类别：“可直接驾驶”区域”和“其他可驾驶区域”；将数据按照8：1：1划分为相对应的训练数据，验证数据和测试数据；

S2.过轻量级卷积神经网络MobileNet提取特征，对骨干网络MobileNet参数以及检测支路，分割支路的参数进行训练；

S3.模型训练每迭代十轮，就通过验证集进行一次验证，取验证集上效果最好的模型作为最终的模型；

S4.将最终模型在测试集上测试，测试效果和在验证集上的效果一致即可。