[发明专利]一种深度学习模型性能评价方法及系统

说明书

本发明涉及一种深度学习模型性能评价方法及系统，首先分别获取真实标签与预测结果中的连通图斑，然后根据空间位置关系对这些连通图斑信息进行校准，并根据校准后的连通图斑信息计算真实标签与预测结果的连通图斑序列的相似度，最后根据该相似度评价深度学习模型性能。本发明以连通图斑为粒度，聚焦空间位置和空间关系，以标记图像和预测图像的连通序列相似程度来进行模型性能的评价，从而能够直接反映预测结果在空间几何特征上的保持情况。

技术领域

本发明涉及深度学习赋能遥感解译和测绘生产领域，特别是涉及一种基于遥感地物图斑连通性的深度学习语义分割模型性能评价方法及系统。

背景技术

现有深度学习语义分割模型性能的评价体系是面向像素粒度，在深度学习应用于测绘生产和遥感解译的工作中，准确度、精确度、召回率和交并比等现有模型评价指标无法直接反映预测结果在空间几何特征上的保持情况，如建筑聚集成块，道路保持带状连通等，从而难以客观地判断预训练模型是否满足遥感解译和测绘生产的实际需求。

因此，本领域亟需一种基于遥感地物图斑连通性的深度学习模型性能评价方案。

发明内容

本发明的目的是提供一种深度学习模型性能评价方法及系统，以连通图斑为粒度，聚焦空间位置和空间关系，以标记图像和预测图像的连通序列相似程度来进行模型性能的评价，解决了现有模型评价指标无法直接反映预测结果在空间几何特征上的保持情况的问题。

为实现上述目的，本发明提供了如下方案：

一种深度学习模型性能评价方法，所述方法包括：

获取第一连通图斑以及第二连通图斑，所述第一连通图斑从真实标签中提取得到，所述第二连通图斑从所述真实标签对应的预测结果中提取得到；所述预测结果包括每个Epoch模型的预测结果；深度学习模型的每一个训练时期为1个Epoch模型；

分别提取所述第一连通图斑以及所述第二连通图斑的轮廓信息和图斑内像素点的总数量，分别得到标准标记连通序列A和预测连通序列集合B；所述预测连通序列集合B包含若干个预测连通序列B_k；B_k表示第k个Epoch模型对应的预测连通序列；每个所述预测连通序列B_k包含一个Epoch模型的预测结果对应的第二连通图斑的轮廓信息和图斑内像素点的总数量；

根据所述标准标记连通序列A对所述预测连通序列集合B中的每个预测连通序列B_K进行空间校准，得到校准连通序列集合C；所述校准连通序列集合C包括若干个校准连通序列C_K，每个所述校准连通序列C_K由一个预测连通序列B_K空间校准得到；

计算所述标准标记连通序列A中的第i个元素a_i与所述校准连通序列集合C中的校准连通序列C_K中的第j个元素c_j的欧式距离；

构建m×n的相似性矩阵P，所述相似性矩阵P中的元素P(i,j)为distance(a_i,c_j)；其中，m为所述标准标记连通序列A中的元素总数，n为所述校准连通序列C_K中的元素总数；

以相似性矩阵P中目标对角线两端的元素分别为起点和终点，所述目标对角线为主对角线或副对角线，依次从起点至终点搜索出一条路径，在搜索过程中，每一步均搜索前进方向上元素值最小的元素；