[发明专利]注意力融合全局和局部深度特征的建筑立面语义分割方法

说明书

本发明公开了注意力融合全局和局部深度特征的建筑立面语义分割方法，通过设计顾及方向和位置编码的局部特征编码，强化局部特征聚合，增强门窗边界点的边缘特征和立面点的局部特征；通过融入全局Transformer感知模块，捕获门窗上下文全局特征，推理建筑立面门窗的几何位置结构和结构布局，从密度变化不均、含有噪声和离值点且数据缺失的建筑立面点云中正确识别出边缘特征不显著的门窗；基于注意力机制融合局部特征和全局特征。

技术领域

本发明属于建筑结构部件识别领域，特别涉及了一种建筑立面语义分割方法。

背景技术

建筑物作为城市中最基本、最主要的组成元素，其三维模型在室内外导航、建筑能耗模拟、三维可视化、建筑抽象等领域有着广泛的应用。由于激光雷达技术可以捕捉到建筑屋顶和立面部件的复杂结构，如窗户、门、阳台等，点云被大量用于三维真实场景的增强。建筑物重建是摄影测量学、计算机图形学、计算机视觉和遥感界的一个重要的研究领域。然而，如何以精确的几何、正确的拓扑和丰富的语义来重建点云的建筑模型，以实现语义理解和几何表示仍然是一个重大的挑战。与识别建筑屋顶部件相比，解析建筑立面部件，如窗户、门、阳台等是极具挑战性的，因为立面部件的复杂性(类型多样化的窗户和门，不规则的排列等)，以及立面点云通常存在异常值、不规则性和遮挡和自遮挡造成的数据缺失等问题。

近年来，深度学习在处理点云语义分割任务展现了很好的性能，出现了基于多视图(MVCNN、DeePr3SS、SnapNet等)、体素(VoxNet、SparseConvNet、Oct-Net、Kd-Net等)、点本身(PointNet、PointNet++等)的语义分割网络，这些方法相较于传统方法分割精度更高，不需要人工设计特征提取算子，因此利用深度学习处理建筑立面点云数据具有重要研究意义。由于建筑立面的门窗等小部件点云数据占比率极低，从现有技术文献可知，从不平衡数据中学习仍然是点云语义分割任务中一个具有挑战性的问题。

点云是无序的、不规则的、无结构的，在点云语义分割任务中，从3D点云提取特征的传统方法常常依赖于手工提取。近年来，基于自动提取特征的深度学习方法得到了广泛应用。点云语义分割的深度学习方法通常分为三类：基于多视图、体素和点本身。将3D点云映射为多视图、体素等规则表征，从而使用标准CNN，但此举会改变了点云的组织方式，从而产生点云几何信息损失、计算成本高、内存消耗大等问题。基于点本身的方法是直接应用MLP、卷积等方式提取点特征，保留了点云数据本身的结构并避免了以上问题。在点云语义场景分割任务中，基于点本身可分为逐点MLP、点卷积、图卷积和Transformer的这四类方法。

(1)基于逐点MLP的方法