[发明专利]基于竞争注意力融合的深度三维点云分类网络构建方法在审
申请号: | 202110347537.5 | 申请日: | 2021-03-31 |
公开(公告)号: | CN112990336A | 公开(公告)日: | 2021-06-18 |
发明(设计)人: | 达飞鹏;陈涵娟 | 申请(专利权)人: | 东南大学 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06F17/16;G06N3/04;G06N3/08 |
代理公司: | 南京众联专利代理有限公司 32206 | 代理人: | 许小莉 |
地址: | 210096 *** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 竞争 注意力 融合 深度 三维 分类 网络 构建 方法 | ||
1.一种基于竞争注意力融合的深度三维点云分类网络构建方法,其特征在于包括如下步骤:
步骤1:对原始点云数据进行预处理;
步骤2:构建CAF模块,形成竞争性注意力融合特征抽象层;
步骤3:堆叠两层竞争性注意力融合特征抽象层,构建深度三维点云分类网络;
步骤4:将第二层竞争性注意力融合特征抽象层最终输出的高维特征送入分类器,得到分类结果。
2.根据权利要求1所述的基于竞争注意力融合的深度三维点云分类网络构建方法,其特征在于:步骤1中所述对原始点云数据进行预处理的过程中,并行批处理B个样本,对每个样本的N个原始点云数据进行预处理,具体方法是通过下采样的方式,对其进行采样,采样得到含有N0个点云数据的采样结果PSample。
3.根据权利要求1所述的基于竞争注意力融合的深度三维点云分类网络构建方法,其特征在于:步骤2中所述竞争性注意力融合特征抽象层由特征提取层和CAF模块两部分组成,首先,特征提取层接收来自竞争性注意力融合特征抽象层的输入数据Din,经过多层卷积网提取输入数据的高维特征Fext,将输入数据Din与高维特征Fext一同作为CAF模块的输入,在CAF模块中进行特征融合;
所述CAF模块包含MFSE子模块和FICSA子模块:
MFSE子模块关注不同层级全局特征的提取与融合,MFSE子模块将输入CAF模块的输入数据与高维特征分别进行池化和编码操作,其中为实数集,表示实数范围内维度为Ni×Ci的二维矩阵,Ni为当前阶段样本的点云数,Ci为当前阶段样本的特征通道数,i为不同矩阵维度的5个阶段的编号,得到编码后的特征(N3=1为FMFSE-in的点云数,C3=C1/r为FMFSE-in的特征通道数)和(N4=1为FMFSE-ext的点云数,C4=C2/r为FMFSE-ext的特征通道数),公式如下:
其中P(·)是全局特征聚合的最大池化函数Max pooling,φ(·)是全连接层和Relu激活函数,通道缩放比例r用于调节中间通道数;
然后,将上述两个编码特征按通道方向堆叠,得到堆叠结果N5=1为FMFSE-Concat的点云数,C5=(C1+C2)/r为FMFSE-Concat的特征通道数,公式如下:
随后,对该堆叠结果的通道数和特征图大小通过全连接层进行扩展,扩展至与高维特征Fext相同维度,将该特征作为MFSE子模块的输出FMFSE,公式如下:
其中为含有归一化函数Sigmoid的全连接层扩展过程,为MFSE子模块最终获得的全局注意力权值;
FICSA子模块旨在度量特征内在相似度,FICSA子模块将输入CAF模块的高维特征进行1×1点向卷积运算,将每个点所有通道的特征线性映射至三个并行高维特征,公式如下:
其中V(·)、Q(·)、K(·)分别为三个独立的特征映射函数,获得三个对应的高级特征,维度均为N2×C2,wi为不同的线性转换系数,随后,进行相似度计算,通过点积运算获得中Q(·)、K(·)之间的关联,公式如下:
其中A(·)是中间特征内部高维度关系,γ是具有聚合功能的Softmax归一化函数,是为了减少训练参数量而设置的可选通道缩放比例系数,最后获得表征点与点之间特征内在关联的全局注意力权值FFICSA,公式为:
FFICSA=γ(A(Fext)V(Fext)) (6)
其中,V(·)的作用是调节A(·)的特征通道维度,将该特征作为FICSA子模块的最终输出
最后,CAF模块将MFSE子模块的输出FMFSE和FICSA子模块的输出FFICSA进行竞争性权值融合,引入残差学习,对特征通道权值重分配,公式如下:
FCAF=αFMFSE+βFFICSA (7)
通过矩阵加法,将全局注意力权值按不同比例系数α、β融合后,获得最终权值分配系数通过权值重分配和残差连接得到CAF模块的输出
FFusion=Fext+FCAFFext (8)
CAF模块的输出FFusion即为竞争性注意力融合特征抽象层的输出。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于东南大学,未经东南大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110347537.5/1.html,转载请声明来源钻瓜专利网。