[发明专利]一种基于可变形卷积的多任务图像处理方法

说明书

本发明公开了一种基于可变形卷积的多任务图像处理方法，属于图像处理技术领域，在多任务学习模型的网络结构设计时，将可变形卷积引入到多任务学习中，将可变形卷积层和特征对齐层顺序连接构建特定任务可变形模块；特定任务可变形模块与特征共享块直接相连，根据子任务的内容特点自适应调整，进行区分性特定任务特征提取与特征融合，构成整个多任务学习网络框架；在多任务优化设计上，利用权重置零操作，实现子任务优化的动态平衡。

技术领域

本发明属于图像处理技术领域，涉及通过深度学习中的可变形卷积进行多任务学习网络模型，具体涉及一种基于可变形卷积的多任务图像处理方法。

背景技术

当前的网络模型大多基于单任务设计，即一个网络模型只针对一个具体任务。但是在现实世界中，视觉任务间是彼此相关的，单任务网络模型把现实问题彼此孤立，忽略了问题之间丰富的关联信息，阻碍了性能的进一步提升。多任务网络将多个相关任务放在一起训练学习，探索和挖掘包含在多个相关任务中的丰富关联信息，帮助提高所有相关任务的泛化性能。这些特性使得多任务学习逐渐成为深度学习领域的研究热点之一。

多任务学习模型需要聚焦两方面的内容：

(1)网络结构设计，多任务学习旨在提升网络中所有相关任务的泛化性能，既要兼顾所有相关任务的共享特征表达，对所有任务都有效；又要针对不同子任务提取特定任务特征，进一步提升任务性能。当前多任务学习网络结构的设计主要分为两大类，第一类是硬参数共享机制，通过一系列共享卷积层，把多个任务的特征表示嵌入到同一个语义空间中，以此为基础，针对不同子任务，开辟不同特定任务网络通路，优化对应子任务。第二类是软参数共享机制，为每个子任务都学习一个特定任务网络，但子任务间并不孤立，都可以访问其他子任务对应网络中的信息，例如特征表示、梯度信息，参数信息等。

(2)多任务优化，一个多任务网络需要同时优化多个子任务，最终优化目标是所有子任务优化目标的组合，考虑到不同子任务的任务特点，训练难度，收敛速度均存在差异，需要对不同子任务的权重动态调整，保证所有相关任务处于同等重要位置，而不让简单任务主导整个训练过程，造成子任务间性能的巨大差异。

在网络结构设计方面，现有的多任务学习模型已经进行了很多成功尝试与实践，但是仍然存在一个显著问题，无论是基于硬参数共享机制或软参数共享机制，多任务网络结构大多是通过堆叠和组合标准卷积层得到。标准卷积层虽具备特征提取能力，但是在卷积过程中，采样点固定，因此只能在限定区域进行特征提取，无法适应不同目标的形变，限制了网络的感受野范围和空间建模能力，多任务旨在同时处理多个相关任务，这种限制带来的挑战更加严峻，即使进行多层卷积的堆叠和组合，仍然无法有效增强网络的空间建模能力，也无法根据每个子任务的需求自适应的进行有区分性的特定任务特征提取，阻碍了多任务学习模型性能进一步提升。

在多任务优化方面，最终优化目标是所有子任务优化目标的加权组合，必须考虑到不同子任务的动态平衡。在训练过程中，让所有子任务的收敛速度，性能提升保持在相对均衡的状态，不让模型过于偏向某些子任务，而是要对所有子任务都有效。很多方法通过固定子任务权重进行模型训练优化，权重取值来源大多是通过先验知识，无法确定是否是最优组合且无法根据模型训练过程进行动态调整，不利于模型优化；因此还有很多方法开始关注子任务权重的动态调整，但是权重的具体计算过程十分繁琐，拖慢了训练速度。

发明内容

针对上述现有技术存在的问题，本发明提供一种基于可变形卷积的多任务图像处理方法，解决以下两方面技术问题：(1)针对多任务网络结构中空间建模能力受限，无法提取更具区分性的特定任务特征问题，本发明在多任务学习领域引入可变形卷积，构建特定任务可变形模块，每个模块包含可变形卷积层和特征对齐层两部分。特定任务可变形模块与特征共享块直接相连，进行特定任务特征提取，构成整个多任务学习网络框架；(2)针对多任务优化中无法动态平衡问题，本发明提出权重置零策略，实现子任务优化的动态平衡。

为了解决上述技术问题，本发明采用的技术方案是：