[发明专利]单目内窥镜图像的三维重建方法、装置及终端设备

说明书

本申请适用于图像处理技术领域，提供了单目内窥镜图像的三维重建方法，包括：获取单目内窥镜拍摄的多张棋盘标定板的畸变图像，对所述多张棋盘标定板的畸变图像进行畸变校正得到图像序列，从所述图像序列中确定关键帧，获取所述关键帧的位姿参数，估算所述关键帧的深度图，基于所述关键帧的位姿参数以及所述关键帧的深度图进行图像重建，得到三维点云。本申请还提供了单目内窥镜图像的三维重建装置及终端设备，降低了单目内窥镜成像畸变带来的误差，也提高了图像的显示效果。

技术领域

本申请属于图像处理技术领域，尤其涉及一种单目内窥镜图像的三维重建方法、装置及终端设备。

背景技术

三维重建是计算机视觉中的研究热点之一，其主要目的是从二维图像恢复物体三维结构，在增强现实，虚拟导航和医疗领域都有广泛运用。图像的三维信息主要依赖与视觉即时定位与地图构建(Simultaneous Localization and Mapping，SLAM)技术得出。

目前，单目内窥镜成像畸变会造成位姿误差的增大，而且内窥镜通常伴随着冷光源一起使用，其成像也会受光线的干扰，可能会影响SLAM过程中的特征匹配结果。通常很难用单目内窥镜提供准确的样本进行训练，结合SLAM方案和深度预测方案，才能够对二维图像序列进行稠密三维重建，但由于上述的位姿和深度图的误差等因素会造成三维重建的精度和效果变差。

发明内容

本申请实施例提供了单目内窥镜的三维重建方法及装置，可以解决减小单目内窥镜固有参数造成成像畸变带来的误差、将二维图像序列进行三维重建出现精度不高和效果差的问题。

第一方面，本申请实施例提供了一种单目内窥镜图像的三维重建方法，包括：

获取单目内窥镜拍摄的多张棋盘标定板的畸变图像，对所述多张棋盘标定板的畸变图像进行畸变校正得到图像序列；

从所述图像序列中确定关键帧；

获取所述关键帧的位姿参数，估算所述关键帧的深度图；

基于所述关键帧的位姿参数以及所述关键帧的深度图进行图像重建，得到三维点云。

可选地，所述基于所述关键帧的位姿参数以及所述关键帧的深度图进行图像重建，得到三维点云，包括：

获取所述关键帧的像素坐标；

根据所述深度图、所述关键帧的位姿参数和所述关键帧的像素坐标计算得到目标空间坐标；

获取所述关键帧中的每个像素点的颜色信息，根据所述关键帧中的每个像素点的颜色信息和所述目标空间坐标对所述关键帧进行点云融合，得到所述三维点云。

可选地，所述获取单目内窥镜拍摄的多张棋盘标定板的畸变图像，对所述多张棋盘标定板的畸变图像进行校正得到图像序列，包括：

获取所述多张棋盘标定板的畸变图像中的棋盘的角点，基于所述棋盘的角点对所述单目内窥镜进行标定，得到所述单目内窥镜的相机参数和畸变参数；

根据所述相机参数和所述畸变参数从所述畸变图像中确定待校正图像；

基于相机坐标系对所述待校正图像进行畸变校正得到所述图像序列。

可选地，所述基于相机坐标系对所述待校正图像进行畸变校正得到所述图像序列，包括：

获取所述待校正图像的每个像素点在所述相机坐标中的预设坐标；

将所述相机坐标系投影至所述待校正图像的每个像素点所在的平面上，得到所述预设坐标在像素坐标系中的像素坐标；

将所述预设坐标在像素坐标系中的像素坐标映射至所述相机坐标系得到所述图像序列。

可选地，所述获取所述关键帧的像素坐标，包括：