[发明专利]一种基于贝叶斯深度多任务学习的语义分割与深度预测方法

权利要求书

1.一种基于贝叶斯深度多任务学习的语义分割与深度预测方法，其特征在于，包括以下步骤：

步骤1：选取数据集，对数据进行预处理后进行划分，分成训练集和测试集；

步骤2：使用经过预训练处理的主干网络作为多任务模型的共享编码器，用于生成包含多个尺度的原始共享特征；

利用多任务技术共同实现语义分割与深度预测任务，通过贝叶斯门控机制对共享特征流进行过滤，并利用多尺度信息实现多任务的性能提升；

本方法的网络包含主干网络与共享网络解码器，共享网络解码器包括贝叶斯多通道交流单元、贝叶斯多任务池与贝叶斯多模态蒸馏模块；网络选定的主干网络为经过ImageNet预训练的HR-Net，将训练集的图像输入至共享深度网络中，经过主干网络输出四种不同尺度的特征，其大小分别为输入图像的1/4、1/8、1/16、1/32；

步骤3：按照由低尺度到高尺度的次序，对相邻的两种尺度特征分组，最后得到三个特征组，利用贝叶斯多通道交流单元与贝叶斯任务共享单元依次对这三组特征进行信息交流操作，令较大尺度特征学习到局部的细化信息；

在共享网络解码器的前序特征传播过程中，贝叶斯多通道交流单元令特征组中较大尺度信息学习较小尺度的特征信息，在后续的多任务交流过程中，贝叶斯多任务池能更加有效地利用尺度特征所包含的信息；

首先贝叶斯多通道交流单元构建单元内的多尺度融合特征，计算公式如下：

其中，M_scale表示多尺度融合特征，CONCAT(·)表示多个尺度的拼接操作，s表示输入至贝叶斯多通道交流单元的尺度数量，μ,Σ_j表示对应于该贝叶斯门控单元的均值与低秩加对角后验近似矩阵，N(·)表示服从分布化处理，θ_j表示对应于第j个尺度的贝叶斯门控机制，表示服从分布化的贝叶斯门控机制，P_sⁱ表示对应于s个尺度的输入特征，D_s表示对应于s个尺度的下采样池化操作；

得到多尺度融合特征之后，其次利用基于ResNet结构的信息交流块构成的基础网络层对多尺度融合特征进行学习，通过上采样操作将多尺度融合特征复原为对应于贝叶斯多通道交流单元输入的高尺度信息，最后输出对应于贝叶斯多通道交流单元输入尺度的多个特征，计算公式如下：

其中，j表示输出的尺度个数，表示第j个尺度的输出特征，M_scale表示输入的多尺度融合特征，F_scale(·)表示为卷积块函数，f_j表示为尺度变换卷积函数，U_j(·)表示为上采样操作；

经过贝叶斯多通道交流单元中的尺度特征交流后，贝叶斯多任务池从贝叶斯多通道交流单元的输出的多个尺度的特征中提取有利信息，共同优化多个任务；

贝叶斯多任务池包含对应于各个尺度的贝叶斯多任务共享模块，在不同特征组的多任务交流过程中，从贝叶斯多任务池中选取对应尺度的贝叶斯多任务共享模块，在每个贝叶斯多任务共享模块中对多个任务特征进行组合得到任务融合特征，计算公式如下：

其中，N表示总任务个数，M_task表示输出的任务融合特征，CONCAT(·)表示多个任务特征的拼接操作，μ,Σ_k表示对应于贝叶斯门控矩阵的均值与低秩加对角后验近似矩阵，N(·)表示服从分布化处理，Θ_k表示第k个任务的贝叶斯遮罩矩阵，表示服从分布化的贝叶斯门控机制，表示为第N个任务的输入特征；

接下来任务融合特征通过贝叶斯多任务共享模块中的编解码器学习抽象的共享表征，该解码器由两个ResNet基础块构成，最后得到不同任务的特征，计算公式如下：

Q^o＝F_task(M_task)(4)

其中，M_task表示输出的任务融合特征，F_task(·)表示为多任务的编解码操作，Q^o为任务的输出特征；

步骤4：对于步骤3中处理后的多个尺度任务信息，在共享网络解码器的后序特征传播过程中，利用贝叶斯多通道交流单元实现由高尺度到低尺度的信息传递，令较小尺度特征理解较大感受野中的场景信息；

经过步骤3得到处理后得到四个尺度任务信息，在共享网络解码器的后序特征传播过程中，按照由高尺度到低尺度的次序，对相邻的两种尺度特征分组，最后得到三个特征组，依次利用贝叶斯多通道交流单元对这三组特征进行信息交流，将较低尺度的特征信息传输至更高的尺度特征中，其中较低尺度特征通过上采样操作与较高尺度信息进行像素对齐与融合操作，对融合后的尺度特征进行信息交流，最后分别输出对应于四个尺度的语义分割与深度预测任务的特征；

步骤5：利用贝叶斯多模态蒸馏模块对步骤4得到的语义分割与深度预测任务的多尺度特征进行有利知识提取并细化每个任务，最后输出语义分割与深度预测任务的预测；

经过步骤4得到经过尺度与任务信息间充分交流后的特征信息，利用贝叶斯多模态蒸馏有效地获取任务间互补信息，其计算公式如下：

其中，与分别表示为第k个与第l个任务的输入特征，表示为第k个任务的输出特征，l表示为除第k个任务外的其他任务，表示第k个任务特征处理中来自第l个任务的贝叶斯门控单元，μ,Σ_l表示对应于该贝叶斯门控单元的均值与低秩加对角后验近似矩阵，N(·)表示服从分布化处理，表示服从分布化的贝叶斯门控单元，表示第k个任务特征处理中来自第l个任务的注意力单元；

步骤6：利用训练数据集中的真实样本与步骤5得到的预测图像对比，得到语义分割与深度预测任务的总体损失，更新模型的参数并进行调优；

通过训练预测结果与真实标签进行对比学习计算多任务损失，计算公式如下：

其中，N是任务个数，ω_i是第i个任务的权重参数，L_i是第i个任务的损失函数，L_total是总体损失函数，该损失函数对模型参数优化的目标是同时优化多个任务，同时提升语义分割与深度预测任务的性能表现；

步骤7：在测试过程中，将测试集图像输入至本方法的网络中，并执行贝叶斯平均操作对网络参数进行采样平均，最后网络模型对于测试数据生成相应的语义分割与深度预测结果；

在测试时确定在贝叶斯模型平均中的采样次数M，在每次采样后对深度网络的batchnorm进行更新，经过平均后输出最终的预测结果。