[发明专利]结构重构方法、装置、电子设备及存储介质

说明书

本公开提供了一种结构重构方法、装置、电子设备及存储介质。本公开的一些实施例中，结构重构方法包括：获取第一图像；获取第一图像的第一特征图和第二特征图；利用角点检测模型对第一特征图处理以获得角点特征图；利用提议提取模型基于第一特征图、角点检测模型获得角点特征图的过程中产生的中间特征和角点特征图获得提议特征；利用边检测模型基于第二特征图、角点特征图和提议特征获得第一线段特征图。本公开实施例实现了结构重构的两阶段信息整合，在角检测、边检测和区域检测上的精度均有显著提高。

技术领域

本公开涉及一种结构重构方法、装置、电子设备及存储介质。

背景技术

结构重建是基于图像理解的一项重要任务，主要应用于诸如遥感图像、室内光栅图等图像的结构识别以转化成矢量图。

目前，结构重建主要通过角点检测模型和边检测模型来实现，先通过角点检测模型预测角点，再将检测到的角点成对的组成线段通过边检测模型进行结构边缘预测。通过角点与线段的基础语义，再利用启发式的方法利用这些基础语义来整体推理构建区域结构。然而，由于该方法无法将角点检测与边缘检测信息整合，仅仅是结果的传递，其结构语义较弱，导致结构区域感知精度不足，难以实现精度较高的结构重建。此外，由于边检测模型中的Transfomer解码器的查询向量嵌入部分(query_embedding)收敛难，导致边检测模型的训练成本也比较高。

发明内容

为了解决上述技术问题中的至少一个，本公开提供了一种结构重构方法、装置、电子设备及存储介质。

根据本公开的第一方面，提供了一种结构重构方法，包括：

获取第一图像；

获取第一图像的第一特征图和第二特征图；

利用角点检测模型对第一特征图处理以获得角点特征图；

利用提议提取模型基于第一特征图、所述角点检测模型获得角点特征图的过程中产生的中间特征和角点特征图获得提议特征；

利用边检测模型基于所述第二特征图、所述角点特征图和所述提议特征获得第一线段特征图。

本公开的第一方面的一些可能的实现方式中，所述第一图像为光栅图或遥感图。

本公开的第一方面的一些可能的实现方式中，所述第一线段特征图包括如下线段的信息：表征第一图像中物体结构边缘特征的线段；属于第一图像中物体结构上同一封闭区域的区域线段；跨域第一图像中物体结构上不同封闭区域的非法线段。

本公开的第一方面的一些可能的实现方式中，所述第一图像中的物体包括建筑物。

本公开的第一方面的一些可能的实现方式中，所述第二特征图的尺度低于所述第一特征图。

本公开的第一方面的一些可能的实现方式中，所述第二特征图包括尺度不同的多张特征图；和/或，所述第一特征图包括尺度不同的多张特征图。

本公开的第一方面的一些可能的实现方式中，所述边检测模型包括依次连接的自注意力模块、交叉注意力模块和前馈神经网络。

本公开的第一方面的一些可能的实现方式中，利用边检测模型基于所述第二特征图、所述角点特征图和所述提议特征获得第一线段特征图，包括：将所述角点特征图与所述提议特征融合，以获得角点提议特征；利用边检测模型对所述第二特征图和所述角点提议特征处理，以获得第一线段特征图。

本公开的第一方面的一些可能的实现方式中，将所述角点特征图与所述提议特征融合，包括：获取所述角点特征图的位置嵌入特征；对所述位置嵌入特征和所述提议特征执行求和处理，获得角点提议特征。