[发明专利]一种融合改进Census图的局部场景三维重建方法

说明书

本发明公开了一种融合改进Census图的局部场景三维重建方法，包括以下步骤：获取环境的彩色图和深度图，将彩色图灰度化后计算包含关键点及其邻域像素块的改进Census图，基于这些关键像素块的改进Census图和灰度值，估计当前帧的位姿，并判断当前帧是否为关键帧，对经筛选后的最新关键帧的深度图分别进行联合双边滤波和体素格滤波，以便获得去噪平滑的深度图和降采样点云的深度图，再对于当前关键帧与上一关键帧经过体素格滤波的深度图使用具有尺度因子s的ICP算法优化匹配位姿，再将当前帧经过联合双边滤波的深度图与局部图融合，实现点云地图的增长，并最终重建局部三维场景，算法简洁，效率较高且鲁棒性较强。

所属领域

本发明属于计算机视觉技术领域，具体涉及一种融合改进Census图的局部场景三维重建方法。

背景技术

三维重建一直是计算机图形学和计算机视觉领域的一个热点课题，被广泛应用于虚拟现实、人工智能、工业检测和文物保护等领域。具体来说，三维重建，尤其是基于视觉的三维重建技术，指的是通过摄像机获取场景物体的数据图像，并对此图像进行分析处理，再结合计算机视觉知识推导出现实环境中物体的三维信息，最后在计算机中实现真实渲染。

传统三维重建技术通过单目或双目相机，利用特征点配准和三角化测量概率估计环境物体中的三维点坐标的信息，不仅算法实现难度高，耗费大量的硬件资源，而且鲁棒性较差，估计的深度数据往往也误差较大。随着RGBD相机的出现和计算机图形硬件技术的不断发展，尽管使用了较为先进的ToF测距技术，可以实时测量环境物体的深度信息，但即使这样，对于大数据量的点云数据，难以快速求得相机的位姿，对于融合点云并实时渲染仍然存在实时性和精细化方面的挑战。

现有技术中，通常先对不同帧间彩色图特征匹配，求解位姿变换再利用ICP算法实现点云配准并重建三维场景，此种方法特征点计算相对耗时，大量的点云配准也给计算机带来了巨额内存开销，使得重建速度缓慢，甚至会出现重建失败的情况；直接法相对于特征点法，在相机位姿较小时能得到鲁棒而准确的位姿估计结果，受运动模糊和纹理信息缺失的影响较小，但通常基于光度不变性假设，受光照影响较大；传统Census变换子一定程度上克服了这一缺点，但效果仍不够理想，同时，为了提高点云配准速度，配准前的点云精简也是十分重要，因而，设计一个算法简洁，效率较高且鲁棒性较强的三维重建算法，就变得非常必要了。

发明内容

本发明正是针对现有技术中的问题，提供了一种融合改进Census图的局部场景三维重建方法，包括以下步骤：获取环境的彩色图和深度图，将彩色图灰度化后计算包含关键点及其邻域像素块的改进Census图，基于这些关键像素块的改进Census图和灰度值，估计当前帧的位姿，并判断当前帧是否为关键帧，对经筛选后的最新关键帧的深度图分别进行联合双边滤波和体素格滤波，以便获得去噪平滑的深度图和降采样点云的深度图，再对于当前关键帧与上一关键帧经过体素格滤波的深度图使用具有尺度因子s的ICP算法优化匹配位姿，再将当前帧经过联合双边滤波的深度图与局部图融合，实现点云地图的增长，并最终重建局部三维场景，算法简洁，不仅提高了计算效率，还大大提升了重建效果。

为了实现上述目的，本发明采用的技术方案是：一种融合改进Census图的局部场景三维重建方法，包括以下步骤：

S1,获取环境的彩色图和深度图，将彩色图灰度化后计算包含关键点及其邻域像素块的改进Census图；

S2，基于步骤S1获取的关键像素块的改进Census图和灰度值，预判当前帧的位姿，并进行当前帧是否为关键帧的判断，若是，继续步骤；若否，返回步骤S1，重复步骤S1-S2；

S3，对经步骤S2筛选后的最新关键帧的深度图分别进行联合双边滤波和体素格滤波；

S4，对当前关键帧与上一关键帧经过步骤S3中体素格滤波后获取的深度图使用添加尺度因子S的ICP算法优化匹配位姿；