[发明专利]注意力融合全局和局部深度特征的建筑立面语义分割方法

权利要求书

1.注意力融合全局和局部深度特征的建筑立面语义分割方法，其特征在于：通过设计顾及方向和位置编码的局部特征编码，强化局部特征聚合，增强门窗边界点的边缘特征和立面点的局部特征；通过融入全局Transformer感知模块，捕获门窗上下文全局特征，推理建筑立面门窗的几何位置结构和结构布局，从密度变化不均、含有噪声和离值点且数据缺失的建筑立面点云中正确识别出边缘特征不显著的门窗；基于注意力机制融合局部特征和全局特征；

最后将融合后的特征经过两个全连接层和一个Dropout层后，提取建筑立面门窗小部件，得到门窗小部件标注结果；

所述局部特征编码包括局部位置编码、局部方向编码和局部特征聚合；

所述局部位置编码过程如下：

给定建筑立面点云P＝{p₁,…,p_i,…,p_N}中每个点的三维坐标，采用KNN搜索算法，检索到p_i点的K个邻域点集利用p_i及K个邻近点，根据下式对p_i进行局部位置编码：

其中，表示p_i相对的位置编码，是p_i点的第k个邻近点，符号表示拼接运算；

所述局部方向编码过程如下：

给定p_i及其邻域点且各自的法向量分别为n_i和在p_i点定义局部坐标系uvw，并建立规则，如下式：

其中，符号“×”表示向量叉乘；

n_i与之间的差异用3个角度来表示，如下式所示：

其中，符号“·”表示向量点乘；

则p_i相对的方向特征编码表示如下：

所述局部特征聚合过程如下：

在对实施了局部位置编码和局部方向编码后，需将相关位置编码和相关方向编码的结果与中间特征f_i^k拼接得到点的增强特征所述中间特征为建筑立面点坐标和法向量原始特征输入到全连接层后生成的非线性中间特征

得到增强特征后，将p_i点的K个邻近点采用注意力池化策略，实施邻域特征点集的加权求和，聚合邻域点集中有用信息，最终p_i点的聚合特征如下：

其中，是p_i点的局部聚合特征，δ表示归一化函数softmax，MLP表示共享参数。

2.根据权利要求1所述注意力融合全局和局部深度特征的建筑立面语义分割方法，其特征在于：对于所述全局Transformer感知模块，将p_i投入到Transformer中的三个不同的全连接层，得到逐点的特征向量q_i、k_i和v_i，进而根据下式得到p_i的全局特征

其中，γ是两个串联的全连接层。

3.根据权利要求2所述注意力融合全局和局部深度特征的建筑立面语义分割方法，其特征在于：在全局Transformer感知模块中借助残差连接和多次Transformer编码增强对立面全局几何结构特征表达，提高解析不同类型建筑立面的泛化能力。

4.根据权利要求1所述注意力融合全局和局部深度特征的建筑立面语义分割方法，其特征在于：基于注意力机制融合局部特征和全局特征的过程如下：

(1)局部和全局特征生成：给定输入点云(N,d_in)，分别从自编码器学习到建筑立面门窗的边缘几何局部特征(N,d_local)和从使用残差连接的Transformer层学习到门窗间上下文全局特征(N,d_global)；其中，N为当前采样尺度下处理的建筑立面点的数目，d_in、d_local和d_global分别为对应的特征维度；

(2)注意力矩阵构建：将(N,d_local)和(N,d_global)用共享参数MLP分别特征映射到(N,64)，将两个特征向量相加构建注意力矩阵，并对注意力矩阵使用softmax函数实施归一化操作；

(3)注意力机制的特征融合：将归一化后的注意力矩阵与局部特征矩阵(N,d_local)实施点乘，计算融合特征向量的注意力值，将注意力值进行非线性映射，得到注意力的融合特征向量，整个融合过程如下所示：

其中，f_i是p_i的注意力机制融合特征向量，是p_i的局部特征，是p_i的全局特征，p_i是建筑立面3D点，δ是归一化函数softmax，符号“·”表示点乘。