[发明专利]基于主动学习的摄影测量网格的三维语义标注方法

说明书

本发明属于计算机视觉领域，具体涉及一种基于主动学习的摄影测量网格的三维语义标注方法、系统、装置，旨在解决三维语义标注方法标注鲁棒性较差的问题。本发明方法包括：获取待标注的城市街景图像；获取各图像的语义分割结果；将语义分割结果反投影到三维网格模型上得到初始三维语义网络模型；对初始三维语义网络模型进行融合；对迭代次数、面片类别标签不一致数量与总数量的比值进行判断；获取各图像的不确定度；构建新的图像集，计算新构建的图像集的整体不确定度、离散度并进行加权，将加权平均最小值对应的图像集作为第t图像集；若t达到阈值，对语义分割网络进行更新；得到标注好的三维语义网络模型。本发明提高了三维语义标注的鲁棒性。

技术领域

本发明属于计算机视觉领域，具体涉及一种基于主动学习的摄影测量网格的三维语义标注方法、系统、装置。

背景技术

近年来，传统的基于几何的三维重建已经达到了一个相对成熟的阶段，现成的商业、开源的三维重建及摄影测量软件可以帮助我们从无人机捕获的大量航拍图像中生成大规模的城市模型。许多学者不满足于仅仅获取场景的结构信息，继而投向三维场景的表达和理解，其中包括大型城市模型的三维语义标注，这对于摄影测量三维网格而言，可以帮助我们知道“什么”在“哪里”。毫无疑问，具有更丰富信息的城市模型可以更好地应用于智慧城市、城市规划、虚拟现实和自动驾驶等。

全自动大规模三维网格模型的标注主要有两种思路，一种是直接在三维网格或三维点云上进行语义分割，由于点云的非规则化、非结构化和无序的形式，三维网络模型的设计比二维要复杂得多。尽管目前一些基于深度学习的标记方法在三维物体识别和语义分割方面取得了显著成就，但仍无法很好地解决这种大规模三维模型。此外，深度学习还面临一个严峻的障碍：缺乏大量带有精细标签的训练数据，特别是对于城市场景，网格模型中的面片数量可以达到数百万甚至更多，这似乎是不可能的工作量。更糟糕的是，目前尚无优秀的交互式软件可在三维空间上进行标注。

由于摄影测量网格是通过图像重建获得的，因此除了三维网格模型外，还存在经过校准的图像。另一种思路是在二维图像上进行分割以获取像素级的语义信息，然后使用校准的相机参数将二维分割结果反向投影到三维网格模型上，并继续将它们融合在一起以形成三维语义模型。在这种方法中，二维语义分割的质量至关重要，在很大程度上直接影响三维语义模型的表现，而且需要使用一个通用的二维分割网络来适应各种场景，但这很难甚至是不切实际的，特别是对于那些地面物体变化很大的航拍场景而言，每个场景都需要大量的标记样本，尽管微调分割网络可以在一定程度上减轻人工标注的负担，但是并不能很好地解决为保证高质量性能而选择哪些数据样本进行标注的问题。基于此，本发明提出了一种基于主动学习的摄影测量网格的三维语义标注方法。

发明内容

为了解决现有技术中的上述问题，即为了解决现有的三维语义标注方法的因待标注数据样本过多，语义分割网络训练困难，导致标注鲁棒性较差的问题，本发明提出了一种基于主动学习的摄影测量网格的三维语义标注方法，该方法包括：

步骤S10，获取待标注的城市街景图像，作为输入图像；

步骤S20，对各输入图像，通过微调训练的语义分割网络获取其对应的语义分割结果，并通过光线相交将其对应的语义分割结果反投影到三维网格模型上得到初始三维语义网络模型，作为第一模型；

步骤S30，对所述第一模型，构建其相邻面片类别标签的平滑约束，并通过马尔可夫随机场进行融合，得到第二模型；

步骤S40，若当前迭代次数为1，则执行步骤S50；否则统计当前得到的第二模型与上一次得到的第二模型对应面片类别标签不一致的数量，若该数量与第二模型面片总数量的比值大于设定阈值，则跳转步骤S50，否则跳转步骤S100；

步骤S50，对所述第二模型中的各面片，根据其与各输入图像像素点的对应关系，结合其类别标签的置信度，通过预设的第一方法获取各输入图像的不确定度；

步骤S60，当t＝1，获取不确定度最小的输入图像构建第一图像集；