[发明专利]基于主动学习的摄影测量网格的三维语义标注方法

权利要求书

1.一种基于主动学习的摄影测量网格的三维语义标注方法，其特征在于，该方法包括：

步骤S10，获取待标注的城市街景图像，作为输入图像；

步骤S20，对各输入图像，通过微调训练的语义分割网络获取其对应的语义分割结果，并通过光线相交将其对应的语义分割结果反投影到三维网格模型上得到初始三维语义网络模型，作为第一模型；

步骤S30，对所述第一模型，构建其相邻面片类别标签的平滑约束，并通过马尔可夫随机场进行融合，得到第二模型；

步骤S40，若当前迭代次数为1，则执行步骤S50；否则统计当前得到的第二模型与上一次得到的第二模型对应面片类别标签不一致的数量，若该数量与第二模型面片总数量的比值大于设定阈值，则跳转步骤S50，否则跳转步骤S100；

步骤S50，对所述第二模型中的各面片，根据其与各输入图像像素点的对应关系，结合其类别标签的置信度，通过预设的第一方法获取各输入图像的不确定度；

步骤S60，当t＝1，获取不确定度最小的输入图像构建第一图像集；

步骤S70，令t＝t+1，对剩余各输入图像，将其与第t-1图像集构建新的图像集，并计算新构建的图像集的不确定度平均值，作为整体不确定度；

步骤S80，对新构建的图像集，分别计算其图像在第二模型中对应的面片面积的交并比，作为其的离散度，并将其的离散度与整体不确定度进行加权平均；将加权平均最小值对应的新构建的图像集作为第t图像集；

步骤S90，判断t是否达到设定阈值，若否，则循环执行步骤S70、S80，否则将第t图像集中的输入图像进行标注，并基于所有标注好的输入图像对语义分割网络进行参数更新，更新后跳转步骤S20；

步骤S100，将当前得到的第二模型作为最终标注好的三维语义网络模型。

2.根据权利要求1所述的基于主动学习的摄影测量网格的三维语义标注方法，其特征在于，所述语义分割网络，其微调训练方法为：

步骤A10，从第一训练样本集中随机选取设定数量的城市街景图像进行标注；所述第一训练样本集为所有城市街景图像构建的数据集；

步骤A20，若当前迭代次数为1，则采用随机选取标注的城市街景图像对第一网络进行微调，否则，基于第二训练样本集中的城市街景图像对第一网络进行微调；所述第一网络基于Cityscapes数据集训练后的DeepLab网络；所述第二训练样本集为已标注的城市街景图像构建的数据集；

步骤A30，以softmax层替换微调后的第一网络的预设类别的分类层得到第二网络；

步骤A40，基于第一训练样本集中各城市街景图像，结合所述第二网络，通过步骤S20-步骤S80的方法获取标注好的第t图像集；

步骤A50，将标注好的第t图像集增入预构建的第二训练样本集，并跳转步骤A20。

3.根据权利要求1所述的基于主动学习的摄影测量网格的三维语义标注方法，其特征在于，步骤S30中“构建其相邻面片类别标签的平滑约束”，其方法为：

其中，f₁、f₂表示两个相邻的面片，表示两个面片对应的类别标签，k_min、k_max表示面片的主曲率的极小值、极大值，w_min、w_max表示面片的主曲率的主方向向量，s表示设定的比例因子。

4.根据权利要求3所述的基于主动学习的摄影测量网格的三维语义标注方法，其特征在于，步骤S30中“通过马尔可夫随机场进行融合，得到第二模型”，其方法为：

构建似然数据项与所述平滑约束的能量函数；所述似然数据项为初始三维语义网络模型中各面片与对应的类别标签的似然分布；

利用图割算法α-expansion计算所述能量函数的全局最优值，得到各相邻面片的分割结果，并结合所述第一模型，得到第二模型。