[发明专利]基于神经网络的半监督三维点云语义分割方法有效
申请号: | 202110764019.3 | 申请日: | 2021-07-07 |
公开(公告)号: | CN113657387B | 公开(公告)日: | 2023-10-13 |
发明(设计)人: | 张扬刚;陈涛;廖永斌;叶创冠 | 申请(专利权)人: | 复旦大学 |
主分类号: | G06V10/26 | 分类号: | G06V10/26;G06V10/774;G06V10/82;G06V20/64;G06N3/045;G06N3/0895 |
代理公司: | 上海正旦专利代理有限公司 31200 | 代理人: | 陆飞;陆尤 |
地址: | 200433 *** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 神经网络 监督 三维 语义 分割 方法 | ||
1.一种基于神经网络的半监督三维点云语义分割方法,其特征在于,采用半监督学习Mean Teacher范式,结合三维点云语义分割主干网络,构成整个半监督三维点云语义分割方法框架;所述分割网络模型结构如下:分为上下两个分支,上面分支称为学生网络,下面分支称为教师网络,学生网络和教师网络采样相同的结构,即均采用三维语义分割主干网络;学生网络的输入为未经过变换的原始点云,教师网络的输入为变换后的点云;学生网络的有标注部分的输出由其对应的标注进行监督,同时学生网络和教师网络的整体输出进行一致性监督,以此来更新学生网络的权重,教师网络的权重由学生网络的权重进行指数滑动平均得到;
三维点云语义分割的具体步骤如下:
步骤1:划分训练数据集
监督学习的训练样本由有标注数据和无标注数据两部分组成;对于已有的有标注数据集,划分出一定比例的有标注训练样本,剩下的部分去除标签作为无标注训练样本;或者自行收集有标注训练样本和无标注训练样本;这里,有标注样本中所包含的物体类包含所有待分割的物体类别;
步骤2:网络预训练
使用步骤1中划分或收集得到的有标注数据对教师网络和学生网络使用的主干网络进行预训练,预训练过程采用全监督方式;训练过程中采用的损失函数为标准的交叉熵损失函数;
步骤3:网络训练
输入到网络中的有标注点云样本和无标注点云样本分别记为其中xi∈Rp×6表示每个训练样本含有的p个点以及它的坐标和颜色信息;一批训练样本记为xl∪xu,其经过缩放、旋转变换后的版本记为xl∪xu和分别作为学生网络和教师网络分支的输入,它们对应的输出分别记为和
网络开始训练前,使用步骤2中预训练过程得到的权重分别对学生网络和教师网络进行初始化;然后每一次训练,学生网络的输出中的由其对应的标注信息y进行监督计算损失和由设计的一致性损失函数监督:
其中,fT和fs分别指代教师网络和学生网络,τ表示上文提到的缩放、旋转变换,KL指代KL散度计算;整体的损失函数记为:
其中,ωc是一致性权重参数;
学生网络通过优化损失函数更新网络参数;教师网络通过对学生网络的参数进行指数滑动平均得到,具体算式如下:
θ′t=αθ′t-1+(1-α)θt
θ′t、θt分别记为第t次迭代教师网络和学生网络的权重,α是一个权重超参数;
步骤4:网络推理
网络推理时使用经过训练的教师网络或学生网络均可得到理想的三维点云语义分割结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于复旦大学,未经复旦大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110764019.3/1.html,转载请声明来源钻瓜专利网。