[发明专利]一种基于级联多尺度视觉Transformer的图像语义分割方法

说明书

本发明提出一种基于级联多尺度视觉Transformer架构的语义分割方法，包括：将图像切分为多个Patch，将Patch拉伸为一维向量N*C；步骤二、利用重叠Padding块编码对Patch进行位置编码；步骤三、将token输入Transformer模块，依次经过层归一化、多头注意力层以及前馈神经网络，重复步骤三至网络收敛；步骤四、利用块编码将token还原至二维，利用池化层将图像下采样至1/2；步骤五将编码阶段和当前阶段的特征图采用像素点信息聚合；步骤六将特征图上采样至1/4时采用卷积层输出为类别数，最后采用双线性插值算法将图像上采样至原图大小。本发明可以解决计算量大，分割边界不均匀问题。

技术领域

本发明涉及一种基于级联多尺度视觉Transformer的图像语义分割方法，属于图像处理领域。

背景技术

最近几年，以卷积神经网络为代表的深度学习在图像领域大量展开了应用，但是由于卷积操作带来的感受野受限问题一直没有得到很好的解决，每个像素点无法捕获更远处像素点的上下文信息，视觉Transformer的出现让长距离依赖成为了可能。目前图像分割领域应用空洞卷积来实现感受野扩大，首先将骨干网络形成的特征图进行通道压缩，然后利用含有不同膨胀率的空洞卷积对特征图进行处理，最后在通道维度上合并来自不同膨胀率的特征图。但是，目前大多研究的图像语义分割模型直接影响分割效果，计算量大，实时性和分割边缘处理还不甚理想。

发明内容

本发明的目的是提出一种基于级联多尺度视觉Transformer的图像语义分割方法，其为了解决计算量大，图像分割边缘表现差和分割精度问题。

一种基于级联多尺度视觉Transformer的图像语义分割方法，所述识别方法包含以下步骤。

步骤一、将维度为H*W*3的原始图像切分为一系列的Patch块，起始的Patch尺寸为原图H和W的1/4，并将每个Patch块拉伸为一维向量N*C，其中N=H*W。

步骤二、利用带Padding的位置编码操作对每个向量进行位置编码，利用卷积核为K，步长S和填充P的卷积操作将特征图进行编码。

步骤三、将每个维度为N*C的一维向量作为token输入到Transformer模块中，该模块包含了层归一化、多头自注意力模块以及前馈神经网络，在进行层归一化后会划分为三个子tocken，分别为query、key和value。三个向量在矩阵操作之后会重新得到N*C的一维向量并输入到前馈神经网络中，前馈神经网络包含两个多层感知机，多次重复步骤三直到网络收敛，可以学习到更多的上下文语义信息。

步骤四、利用带有重叠padding的编码模块将N*C的向量变换至图像的三维尺寸Hi*Wi*C，基于池化的特征提取，将图像下采样至1/2大小作为下一阶段的输入，图像尺寸变换为Hi/2*Wi/2*C。

步骤五、采用Transformer的上采样模块作为解码部分，将编码阶段的输出特征图上采样后和前一阶段的特征图利用像素点位置相加实现信息聚合，将新的特征图输入到Transformer模块中。

步骤六、当特征图上采样至原图的1/4大小时，采用卷积操作将通道数变换为类别数，最后采用双线性插值算法将图像上采样至原图大小。

进一步的，所述步骤二中，K=7，S=4，P=3。

进一步的，所述步骤三中包含以下步骤。

步骤三一、首先将待提取特征的特征图进行层归一化，对于前向传播的序列化网络而言，深度不是固定的，不同的时间片需要保存不同的静态特征，可能存在一个特殊序列比其他序列长很多，利用层归一化可以实现很好的训练效果，层归一化的计算方法为：

其中H为待统计的节点信息，即隐含层的节点个数，l表示前馈神经网络的层数，i表示待处理的阶段。