[发明专利]基于密集尺度动态网络的语义分割方法

权利要求书

1.一种基于密集尺度动态网络的语义分割方法，其特征在于，所述方法包括：

S1、将待分割的语义图像输入至骨干网中，得到特征图x_A；

S2、将特征图输入至密集尺度模块DSM对输入图像进行语义分割，获取最终分割图，包括：

所述密集尺度模块DSM包括按顺序依次连接的n层并行单元，每层并行单元包括m个深度动态局部空洞卷积和一个1×1卷积，每层并行单元的输出为m个深度动态局部空洞卷积DDLAC的输出与1×1卷积的乘积；每个深度动态局部空洞卷积DDLAC包括条件滤波器生成网络CFGN和动态局部滤波操作单元DLFO；

特征图x_B输入至深度动态局部空洞卷积DDLAC的动态局部滤波操作单元DLFO中，第1层并行单元的深度动态局部空洞卷积DDLAC中输入的特征图x_B为所述特征图x_A，第2层至第n层并行单元的深度动态局部空洞卷积DDLAC中输入的特征图x_B为前一层并行单元的输出；

特征图x_A同时输入至各深度动态局部空洞卷积DDLAC的条件滤波器生成网络CFGN中，每个条件滤波器生成网络生成形状为(K_h×K_ω,H,W,C_B)的动态局部滤波器集合F，实现动态获取不同的滤波器；

每个深度动态局部空洞卷积DDLAC利用动态局部滤波操作单元DLFO从特征图x_B中提取出形状为(H,W,C_B,K_h×K_ω)的数据块，并与相对应的条件滤波器生成网络CFGN生成的动态局部滤波器集合F进行相乘，作为深度动态局部空洞卷积DDLAC的输出；

K_h表示滤波器内核高度，K_ω表示滤波器内核宽度，H表示特征图x_B的高度，W表示特征图x_B的宽度，C_B表示特征图x_B的通道数；

第n层并行单元的输出为最终分割图；

所述条件滤波器生成网络CFGN生成动态局部滤波器集合F的过程包括：

根据特征图x_A生成类别概率图P_A；

α_i,j,n表示P_A中的元素,表示感受野的数量；

初始化滤波器生成形状为(K_h,K_ω,C_B,N)的可学习滤波器集F_L，F_L(c,n)表示可学习滤波器集F_L中形状为(K_h,K_ω)的滤波器，c∈{1,2，...，C_B}；

使用α_i,j,n参数化相应的滤波器F_L(c,n)来生成条件动态局部滤波器F(i,j,c)：

i∈{1,2，...，H}，j∈{1,2，...，W}；

所有条件动态局部滤波器F(i,j,c)组成形状为(K_h×K_ω,H,W,C_B)的动态局部滤波器集合F；

其中，Sample(·)表示采样操作，Softmax(·)表示回归模型，表示1×1的卷积；

所述动态局部滤波操作单元DLFO从特征图x_B中提取出数据块，并与相对应的条件滤波器生成网络CFGN生成的动态局部滤波器集合F进行相乘的过程包括：

提取特征图x_B中每个像素x_B(i,j,c)的带洞图像块Pat(i,j,c)，Pat(i,j,c)具有K_h×K_ω个元素，Pat(i,j,c)中的元素为：

其中x(·)表示Pat(i,j,c)中的元素，r_h表示带洞率的高度，r_ω表示带洞率的宽度；

所有带洞图像块Pat(i,j,c)形成形状为(H,W,C_B,K_h×K_ω)的数据块Pat，该数据块Pat与形状为(K_h×K_ω,H,W,C_B)的动态局部滤波集F的乘积为：

Output＝Pat·F。