[发明专利]一种基于单目相机进行稠密建图的方法在审

专利信息
申请号: 202110970559.7 申请日: 2021-08-23
公开(公告)号: CN113706596A 公开(公告)日: 2021-11-26
发明(设计)人: 戴宇晗;牛潞东;余彰恒 申请(专利权)人: 河海大学
主分类号: G06T7/55 分类号: G06T7/55;G06T7/73
代理公司: 南京千语知识产权代理事务所(普通合伙) 32394 代理人: 尚于杰;祁文彦
地址: 210000 *** 国省代码: 江苏;32
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 基于 相机 进行 稠密 方法
【权利要求书】:

1.一种基于单目相机进行稠密建图的方法,其特征在于,包括:

第一步,将单目相机拍摄下的一段视频,以灰度图的形式读取第一帧图像,先以第一帧为参考帧,初始化深度滤波器的深度均值和深度方差;

第二步,梯度剔除;以灰度图的形式读取第二帧图像,遍历参考帧上的每个像素块,计算每个像素块的灰度梯度,如果某个像素块的梯度的2范数小于设定的阈值,则剔除该像素块;

第三步,深度剔除;遍历参考帧上经梯度剔除余下的其他像素块,读取深度滤波器存储的每个像素块的深度方差值,如果某个像素块的深度方差小于设定的最小方差或大于设定的最大方差,说明该像素块的深度已收敛或发散,则剔除该像素块;

第四步,遍历第二帧图像上的像素块,用极线搜索方法查找每个像素块与所述参考帧上经第二、第三步剔除后余下像素块对应的位置;如果查找到参考帧上某个像素块在当前第二帧对应的位置,则通过三角化方法求出参考帧上该像素块的深度均值和深度方差,并将该深度均值和深度方差存入深度滤波器中,用于更新深度滤波器,对查找到的参考帧与当前第二帧有对应位置的所有像素块重复该步骤,直到每个像素块的深度都收敛;通过传感器得到当前相机在世界坐标系的位姿TWC,通过该位姿TWC的逆乘上参考帧在世界坐标系的位姿TWR,得到参考帧到当前第二帧的位姿TCR;

第五步,以灰度图的形式读取第三帧图像,遍历参考帧上经梯度剔除余下的其他像素块,读取深度滤波器存储的每个像素块的深度方差值,如果某个像素块的深度方差小于设定的最小方差或大于设定的最大方差,说明该像素块的深度已收敛或发散,则剔除该像素块;

第六步,遍历第三帧图像上的像素块,以第四步所述方法得到第三帧与参考帧对应的所有像素块,得到参考帧到当前第三帧的位姿TCR;

重复第五和第六步,遍历第四帧及之后的每一帧,直到查找得到单目相机拍摄视频中每一帧与该参考帧对应的所有像素块,通过三角化方法求出该参考帧上这些像素块的深度;

再以第二帧为参考帧,重复上述步骤,遍历第三帧及之后的每一帧,直到查找得到单目相机拍摄视频中每一帧与该参考帧对应的所有像素块,通过三角化方法求出该参考帧上这些像素块的深度;

重复上述步骤,得到单目相机拍摄视频中每一帧上用于稠密建图的像素块的空间位置。

2.根据权利要求1所述的一种基于单目相机进行稠密建图的方法,其特征在于,第四步中极线搜索方法为:假设第一帧像素块x对应第二帧像素块y,将第一帧像素块x的像素坐标转化成归一化坐标,乘上深度均值,再左乘位姿TCR,转换回像素坐标,得到深度均值点在当前帧的像素位置;将深度均值取倒数,加减三倍的深度标准差得出需要搜索的深度的最小值和最大值的倒数,获得深度最值,将第一帧该像素块的像素坐标转化为归一化坐标,乘上深度最值,再左乘位姿TCR,转换回像素坐标,得到深度最值点在当前帧的像素位置。

3.根据权利要求2所述的一种基于单目相机进行稠密建图的方法,其特征在于,沿着极线以一定步长遍历像素块,求出当前帧与参考帧上两个像素块之间的去均值NCC,如果分数大于阈值,则这两个像素块匹配对应,反之说明在当前帧上找不到与参考帧匹配的像素块,即匹配失败。

4.根据权利要求3所述的一种基于单目相机进行稠密建图的方法,其特征在于,将参考帧的像素坐标转成归一化坐标,乘上当前的深度,左乘位姿,再转化成当前帧的像素坐标;对于像素块中的每个像素,累加它们的灰度值,最后取平均值,然后代入公式求出NCC分数,公式为:

其中,A为参考帧的像素块,B为当前帧的像素块,A(i,j) 为参考帧上某个像素块的像素灰度值,B(i,j)为当前帧上某个像素块的像素灰度值;为参考帧某个像素块的灰度均值,为当前帧某个像素块的灰度均值。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于河海大学,未经河海大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202110970559.7/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top