[发明专利]一种基于多模态数据融合的遥感图像语义分割方法在审
| 申请号： | 201911064946.3 | 申请日： | 2019-11-04 |
| 公开（公告）号： | CN110796105A | 公开（公告）日： | 2020-02-14 |
| 发明（设计）人： | 周勇;杨劲松;赵佳琦;夏士雄;姚睿;刘兵;杜文亮;王秋 | 申请（专利权）人： | 中国矿业大学 |
| 主分类号： | G06K9/00 | 分类号： | G06K9/00;G06K9/62;G06K9/48;G06T7/12;G06N3/04;G06N3/08 |
| 代理公司： | 32249 南京瑞弘专利商标事务所(普通合伙) | 代理人： | 陈国强 |
| 地址： | 221000 *** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 遥感图像 注意力机制 语义分割 双流 融合 计算机视觉领域 多模态数据集 多模态数据 网络解码器 解码特征 输入特征 输入图像 特征融合 网络结构 遥感数据 优化模型 语义信息 编码器 多模态 深度图 像素点 多层 构建 尺度 网络 | ||
1.一种基于多模态数据融合的遥感图像语义分割方法，其特征在于：包括如下步骤：
(1)构建双流语义分割网络，包括如下步骤：
(11)构建双流语义分割网络的特征提取器；
(12)引入多层特征融合；
(13)构建双流语义分割的解码器，并引入注意力机制，形成双流语义分割网络；
(2)构建数据集并进行双流语义分割网络训练，包括如下步骤：
(21)构建数据集；
(22)进行双流语义分割网络训练；
(3)运行双流语义分割网络。
2.根据权利要求1所述的基于多模态数据融合的遥感图像语义分割方法，其特征在于：所述步骤(11)，具体包括如下：
(111)删除卷积神经网络结构中的全连接层，形成一个通过卷积将输入张量转化成小尺度张量的编码器，采用该编码器对输入的RGB图进行编码，将对RGB图进行编码的编码器称为RGB图通道；
(112)复制一个与步骤(111)相同的编码器，采用该编码器对深度图进行编码，将对深度图进行编码的编码器称为深度图通道。
3.根据权利要求1所述的基于多模态数据融合的遥感图像语义分割方法，其特征在于：所述步骤(12)，具体包括如下：
(121)计算深度图通道与RGB图通道中经过第一步池化卷积的特征D1与F1；
(122)进行第一次特征融合R1＝D1+F1；
(123)计算深度图通道与RGB图通道中经过第二步池化卷积的特征D2与F2，其中，D2是由D1经过池化卷积得到，F2是由R1经过池化卷积得到；
(124)进行第二次特征融合R2＝D2+F2；
(125)计算深度图通道与RGB图通道中经过第三步池化卷积的特征D3与F3，其中，D3是由D2经过池化卷积得到，F3是由R2经过池化卷积得到；
(126)进行第三次特征融合R3＝D3+F3；
(127)计算深度图通道与RGB图通道中经过第四步池化卷积的特征D4与F4，其中，D4是由D3经过池化卷积得到，F4是由R3经过池化卷积得到；
(128)进行第四次特征融合R4＝D4+F4；
(129)计算深度图通道与RGB图通道中经过第五步池化卷积的特征D5与F5，其中，D5是由D4经过池化卷积得到，F5是由R4经过池化卷积得到；
(130)进行第五次特征融合R5＝D5+F5。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国矿业大学，未经中国矿业大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201911064946.3/1.html，转载请声明来源钻瓜专利网。
