[发明专利]基于视觉里程计的单目红外视频三维重建方法

摘要

本发明提供了一种基于视觉里程计的单目红外视频三维重建方法，首先进行红外热像仪标定；然后构建直接法和稀疏法视觉里程计模型；再进行帧管理，从待处理的连续红外图像序列中产生关键帧，并边缘化关键帧；对关键帧上的像素进行点管理；最后对关键帧进行滑动窗口优化，最小化直接法和稀疏法视觉里程计模型的光度误差，借助高斯‑牛顿法迭代求解出红外热像仪位姿、内参、空间点的逆深度，最终得到场景的三维点云。本发明将直接法应用于最小化光度误差，跳过传统的特征点检测与匹配，通过对像素的灰度值的直接操作，直接计算待优化的光度误差所依赖的所有变量，从而实现夜视场景的三维重建，保证了三维重建的实时性，增强了场景的空间感。

主权项

一种基于视觉里程计的单目红外视频三维重建方法，其特征在于，包括如下步骤：步骤1：红外热像仪标定；制作针对红外热像仪标定的棋盘标定板，然后将红外热像仪固定，采集多张不同位姿的红外棋盘标定板图像，利用matlab的摄像机标定工具箱计算出红外热像仪的内参矩阵；步骤2：构建直接法和稀疏法视觉里程计模型；通过所述模型刻画红外热像仪的小孔成像模型、红外热像仪位姿、红外热像仪内参、空间点的逆深度以及待优化的光度误差；步骤3：帧管理；从待处理的连续红外图像序列中产生关键帧，并边缘化关键帧；步骤4：对关键帧上的像素进行点管理；点管理的目标是在优化时始终保持固定数量的激活点，在三维空间和激活帧中均匀分布；步骤5：窗口优化；对步骤3所产生的关键帧进行滑动窗口优化，最小化步骤2中构建的直接法和稀疏法视觉里程计模型的光度误差，借助高斯‑牛顿法迭代求解出红外热像仪位姿、红外热像仪内参、空间点的逆深度，最终得到场景的三维点云。