[发明专利]单目内窥镜图像的三维重建方法、装置及终端设备

权利要求书

1.一种单目内窥镜图像的三维重建方法，其特征在于，所述三维重建方法包括：

获取单目内窥镜拍摄的多张棋盘标定板的畸变图像，对所述多张棋盘标定板的畸变图像进行畸变校正得到图像序列；

从所述图像序列中确定关键帧；

获取所述关键帧的位姿参数，估算所述关键帧的深度图；

基于所述关键帧的位姿参数以及所述关键帧的深度图进行图像重建，得到三维点云；

所述获取单目内窥镜拍摄的多张棋盘标定板的畸变图像，对所述多张棋盘标定板的畸变图像进行校正得到图像序列，包括：

获取所述多张棋盘标定板的畸变图像中的棋盘的角点，基于所述棋盘的角点对所述单目内窥镜进行标定，得到所述单目内窥镜的相机参数和畸变参数；其中，根据选择的畸变图像和检测到的角点拟合得到椭圆方程的参数，椭圆方程为包括6个参数的标准方程，根据检测得到的畸变图像中的角点，采用最小二乘法得到曲面投影参数得到所述椭圆方程的参数，多张畸变图像的椭圆方程的参数拟合结果采用均值滤波得到平均值；构建曲面投影模型，根据曲面投影原则建立曲面模型参数，得到畸变图像点坐标与真实图像点坐标之间的对应关系，根据所述畸变图像点坐标与真实图像点坐标之间的对应关系对单目内窥镜进行标定得到所述单目内窥镜的相机参数和畸变参数；

根据所述相机参数和所述畸变参数从所述畸变图像中确定待校正图像；

基于相机坐标系对所述待校正图像进行畸变校正得到所述图像序列，包括：获取所述待校正图像的每个像素点在所述相机坐标中的预设坐标；将所述相机坐标系投影至所述待校正图像的每个像素点所在的平面上，得到所述预设坐标在像素坐标系中的像素坐标；将所述预设坐标在像素坐标系中的像素坐标映射至所述相机坐标系得到所述图像序列；

所述估算所述关键帧的深度图，包括：

从所述关键帧中确定参考帧图像，其中，所述参考帧图像为所述关键帧中的任一帧图像或多帧图像；

基于所述位姿参数对所述参考帧图像的每个像素点进行深度估计处理，得到所述关键帧的深度图；

其中，根据单目视频中关键图像帧的第一深度图将光度误差进行最小化，确定所述单目内窥镜图像中的参考帧图像与关键帧之间的当前相机位姿；根据当前相机位姿对参考帧图像和关键帧中的高梯度像索点进行三角测量，确定关键帧的第二深度图，将第一深度图和第二深度图进行高斯融合，更新关键帧的第一深度图，若参考帧图像的后一图像帧与关键帧之间的后一相机位姿超过预设相机位姿，则将更新后的第一深度图确定为关键帧的稠密深度图。

2.根据权利要求1所述的三维重建方法，其特征在于，所述基于所述关键帧的位姿参数以及所述关键帧的深度图进行图像重建，得到三维点云，包括：

获取所述关键帧的像素坐标；

根据所述深度图、所述关键帧的位姿参数和所述关键帧的像素坐标计算得到目标空间坐标；

获取所述关键帧中的每个像素点的颜色信息，根据所述关键帧中的每个像素点的颜色信息和所述目标空间坐标对所述关键帧进行点云融合，得到所述三维点云。

3.根据权利要求1所述的三维重建方法，其特征在于，所述获取所述关键帧的像素坐标，包括：

将所述相机坐标系投影至所述待校正图像的每个像素点所在的平面上，得到预设坐标在像素坐标系中的像素坐标；

将所述预设坐标在像素坐标系中的像素坐标映射至所述相机坐标系得到所述图像序列，以及所述图像序列对应的像素坐标；

基于所述图像序列对应的像素坐标得到所述关键帧的像素坐标。

4.根据权利要求1-3任一项所述的三维重建方法，其特征在于，所述从所述图像序列中确定关键帧，包括：

获取所述图像序列中的各图像的局部特征，并基于所述各图像的局部特征对所述图像序列中的各图像进行特征点匹配，得到匹配结果；

当所述匹配结果为第一图像和第二图像匹配的特征点数量大于或等于预设阈值时，将所述第一图像作为关键帧，其中，所述第一图像和所述第二图像为所述图像序列中相邻的任意两帧图像。

5.根据权利要求4所述的三维重建方法，其特征在于，所述获取所述关键帧的位姿参数，包括：

将所述第一图像进行位姿初始化；

估算所述图像序列中的关键帧的位姿参数。