[发明专利]一种基于注意力机制和单目多视角的三维重建方法在审
| 申请号: | 202111136942.9 | 申请日: | 2021-09-27 |
| 公开(公告)号: | CN113838191A | 公开(公告)日: | 2021-12-24 |
| 发明(设计)人: | 张珂;刘梦宇 | 申请(专利权)人: | 上海应用技术大学 |
| 主分类号: | G06T17/00 | 分类号: | G06T17/00;G06T7/73;G06T7/80;G06T7/55;G06K9/62;G06N3/04;G06N3/08 |
| 代理公司: | 上海汉声知识产权代理有限公司 31236 | 代理人: | 胡晶 |
| 地址: | 200235 上海*** | 国省代码: | 上海;31 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 基于 注意力 机制 单目多 视角 三维重建 方法 | ||
1.一种基于注意力机制和单目多视角的三维重建方法,其特征在于,包括如下步骤:
S1:通过相机拍摄待测场景,采集待测场景的图像数据;
S2:将所述图像数据进行标序,并按序依次进行特征点提取和特征点匹配,得到特征点匹配对;
S3:对相机进行标定,得到相机位姿信息、相机内参和待测场景结构信息,并进行稀疏点云重建;
S4:将所述相机位姿信息、所述相机内参、所述待测场景结构信息以及所述图像数据输入至预设的注意力机制的单目多视角重建网络,得到若干待测场景的深度估计图;
S5:将若干所述深度估计图进行深度融合,得到稠密点云模型。
2.根据权利要求1所述的基于注意力机制和单目多视角的三维重建方法,其特征在于,在所述步骤S3中,还进一步包括
通过光束平差法对所述相机位姿信息进行非线性优化,根据所述相机内参、所述相机位姿信息和所述待测场景结构信息通过重投影误差作为代价函数进行非线性优化。
3.根据权利要求2所述的基于注意力机制和单目多视角的三维重建方法,其特征在于,还包括对所述相机内参去畸变,以消除径向畸变和切向畸变,公式为
xdistorted=x(1+k1r2+k2r4+k3r6)+2p1xy+p2(r2+2x2)
ydistorted=y(1+k1r2+k2r4+k3r6)+p1(r2+2y2)+2p2xy。
4.根据权利要求1所述的基于注意力机制和单目多视角的三维重建方法,其特征在于,所述步骤S4具体包括如下步骤
S41:基于特征金字塔的搭建尺度无关注意力机制网络;
S42:搭建基于点云的多视角三维重建神经网络,进而粗预测生成得到粗略深度图,将所述粗略深度图转换成点云进行迭代优化,得到所述深度估计图。
5.根据权利要求4所述的基于注意力机制和单目多视角的三维重建方法,其特征在于,在所述步骤S41中,
设置尺度因子S={1,s1,s2,L,sn},基于Non-Local网络计算多尺度特征图的注意力,输出得到所述特征金字塔。
6.根据权利要求4所述的基于注意力机制和单目多视角的三维重建方法,其特征在于,在所述步骤S42中,
搭建基于点云的多视角三维重建神经网络,进而粗预测生成所述粗略深度图,将所述粗略深度图与所述特征金字塔的输出相融合并生成特征增强的点云结果,对所述点云结果进行深度残差计算和迭代优化,得到所述深度估计图。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海应用技术大学,未经上海应用技术大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111136942.9/1.html,转载请声明来源钻瓜专利网。





