[发明专利]一种基于可变形卷积的多任务图像处理方法

权利要求书

1.一种基于可变形卷积的多任务图像处理方法，其特征在于，在多任务学习模型的网络结构设计时，将可变形卷积引入到多任务学习中，将可变形卷积层和特征对齐层顺序连接构建特定任务可变形模块；特定任务可变形模块与特征共享块直接相连，根据子任务的内容特点自适应调整，进行区分性特定任务特征提取与特征融合，构成整个多任务学习网络框架；

具体包括以下步骤：

步骤0、输入图像数据；

步骤1、构建特征共享网络，为所有子任务构建包含不同层次特征的特征共享池G，包含不同层次的特征共享块；

然后以不同层次的特征共享块为基础，构建子任务网络，子任务网络由一系列特定任务可变形模块构成，特定任务可变形模块与特征共享池中不同层次的特征共享块一一对应，直接相连；

步骤2、选择每一个特征共享块的第一层特征作为输入特征，送入到与之对应的特定任务可变形模块中，根据子任务内容自适应调整可变形卷积的采样位置，提取区分性的特定任务特征：该输入特征首先被送入特定任务可变形模块中的可变形卷积层，可变形卷积层首先通过一个平行的标准卷积单元计算偏移量；然后，以此偏移输出为指导，对原固定采样点进行水平、竖直方向上的位置调整，得到最终的采样点位置，进行卷积操作；

对于子任务Γ_i，其第j个特定任务可变形模块的输入特征经过可变形部分后，得到的特征其中表示可变形卷积操作，Δ表示由卷积层、归一化层和激活层构成的卷积单元；

步骤3、特征大小对齐和特征语义对齐：首先将经过步骤2的可变形卷积层的输出特征送入特征对齐层，实现与下一层的共享特征语义对齐；然后调整经过步骤2得到的特征尺寸大小，将每一个特定任务可变形模块的输出特征与下一层的特征共享块进行通道叠加实现特征融合，保证两者特征大小相同，实现特征大小对齐；

步骤4：经过步骤2、步骤3之后，得到经过一个特定任务可变形模块之后的输出特征F_out，在送入下一个特定任务可变形模块之前，和下一层的特征共享块进行融合操作，下一个特定任务可变形模块的输入特征

步骤5：经过每一个特定任务可变形模块之后的输出特征，使用这些特定于任务的输出特征计算最终的任务结果，并输出各个子任务结果的图像。

2.根据权利要求1所述的基于可变形卷积的多任务图像处理方法，其特征在于，在模型训练时采用权重置零方法进行多任务优化：在训练过程中根据相对损失下降率对子任务难易程度进行实时排名，将最易子任务的损失函数权重置零，剩余子任务继续训练；经过两轮迭代后，恢复被置零的权重参数；重复上述步骤，实现训练过程中子任务间的动态平衡，让所有子任务处于同等重要位置。

3.根据权利要求2所述的基于可变形卷积的多任务图像处理方法，其特征在于，多任务优化具体包括以下步骤：

步骤a：子任务权重初始化：根据任务复杂程度，为每个子任务的损失函数设置超参数，作为初始子任务的权重，对网络进行优化，得到最终优化目标；

步骤b：任务难易实时判定：计算每个子任务的相对损失下降率，相对损失下降率代表的是子任务的优化速度和任务难度；通过对子任务的相对损失下降率实时排名，得到在当前训练轮数下，子任务的难易程度排名，从中选取相对损失下降率最高，即当前训练条件下最简单的任务；

步骤c：最易任务权重置零：将最易任务的权重进行置零操作，不改变其余任务的权重值，得到新的多任务优化目标；

步骤d：最易任务放回：根据训练轮数，恢复原本置零的子任务损失函数的权重，加入多任务网络的训练，多任务学习模型的优化目标重新变为步骤a的优化目标；

步骤e：迭代步骤b-d，随着多任务学习模型的训练过程，实时计算当前的最易任务，通过权重置零的方式，抑制其优化，同时让模型将训练重心聚焦在困难任务中。

4.根据权利要求3所述的基于可变形卷积的多任务图像处理方法，其特征在于，权重置零以两轮训练作为等待期，经过两轮训练后，恢复原本置零的子任务损失函数的权重，放回到原多任务学习损失函数中，继续进行训练。