[发明专利]语义分割的方法及装置

权利要求书

1.一种语义分割的方法，所述方法包括：

将原始图像下采样至目标分辨率的全局图；以及，将所述原始图像裁剪为至少两张所述目标分辨率的局部图，并记录各张局部图在所述原始图像中的位置信息；

对所述全局图进行特征提取得到全局特征图，以及，对所述局部图进行特征提取得到局部特征图；

根据所述位置信息提取所述全局特征图中对应于各张局部图的全局特征局部图，并将所述全局特征局部图上采样至所述目标分辨率；

将所述目标分辨率的全局特征局部图与对应的局部特征图进行拼接得到目标局部特征图，并基于所述目标局部特征图生成针对所述原始图像的局部语义分割结果。

2.根据权利要求1所述的方法，

所述方法还包括：将所述全局图、所述局部图以及所述位置信息输入至预先训练得到的语义分割模型中，所述语义分割模型包括：全局特征提取子模型、局部特征提取子模型、局部语义分割子模型；

所述对所述全局图进行特征提取得到全局特征图，包括：通过所述全局特征提取子模型对所述全局图进行特征提取，得到全局特征图；

所述对所述局部图进行特征提取得到局部特征图，包括：通过所述局部特征提取子模型对所述各张局部图进行特征提取，得到局部特征图；

所述基于所述目标局部特征图生成针对所述原始图像的局部语义分割结果，包括：将所述目标局部特征图输入所述局部语义分割子模型，以得到针对所述原始图像的局部语义分割结果。

3.根据权利要求2所述的方法，所述局部语义分割子模型在训练过程中存在相应的局部子模型损失函数，且该局部子模型损失函数的收敛情况用于对所述全局特征提取子模型、所述局部特征提取子模型和所述局部语义分割子模型进行优化。

4.根据权利要求2所述的方法，所述语义分割模型还包括全局语义分割子模型；

所述方法还包括：将所述全局特征图输入所述全局语义分割子模型，以得到针对所述全局图的全局语义分割结果。

5.根据权利要求4所述的方法，所述全局语义分割子模型在训练过程中存在相应的全局子模型损失函数，且该全局子模型损失函数的收敛情况用于对所述全局特征提取子模型、所述局部语义分割子模型和所述全局语义分割子模型进行优化。

6.根据权利要求1所述的方法，所述基于所述目标局部特征图生成针对所述原始图像的局部语义分割结果，包括：

分别获取所述各张局部图对应的局部语义分割结果，并将所述各张局部图对应的局部语义分割结果进行拼接得到针对所述原始图像的局部语义分割结果。

7.根据权利要求1所述的方法，所述原始图像为遥感影像。

8.一种语义分割模型的训练方法，所述方法包括：

获取训练样本集，所述样本集中的每一组样本包括：由初始样本图像下采样得到的目标分辨率的全局样本图、由所述初始样本图像进行裁剪得到的至少两张所述目标分辨率的局部样本图、所述局部样本图在所述全局样本图中的位置信息、所述局部样本图的实际局部语义分割结果；

将所述训练样本集输入至所述语义分割模型，以通过所述语义分割模型对所述训练样本集进行下述处理：对所述全局样本图进行特征提取得到样本全局特征图，以及，对所述局部样本图进行特征提取得到样本局部特征图；根据所述位置信息提取所述样本全局特征图中对应于各张局部样本图的样本全局特征局部图，并将所述样本全局特征局部图上采样至所述目标分辨率；将所述目标分辨率的样本全局特征局部图与对应的样本局部特征图进行拼接得到目标样本局部特征图，并基于所述目标样本局部特征图生成针对所述初始样本图像的预测局部语义分割结果；

根据所述预测局部语义分割结果和所述实际局部语义分割结果对所述语义分割模型进行优化，以使训练完成的语义分割模型用于对图像进行语义分割。