[发明专利]一种无线胶囊内窥镜的体内相对定位方法和装置

权利要求书

1.一种无线胶囊内窥镜的体内相对定位方法，其特征在于，包括训练过程和测试过程；

其中，所述训练过程包括如下步骤：

S1、向基于非监督学习的视觉里程计网络输入无线胶囊内窥镜图片序列，其中，所述图片序列包括源图片和目标图片，所述视觉里程计网络包括“姿态网络”和“深度网络”；

S2、由所述“姿态网络”输出所述目标图片转换到所述源图片的位姿变换矩阵以及输出所述目标图片的信任度蒙版矩阵；

S3、由所述“深度网络”输出所述目标图片的像素深度预测矩阵；

S4、基于所述位姿变换矩阵、所述像素深度预测矩阵和所述信任度蒙版矩阵，根据相机模型将源图像重构投影到目标图像上，计算目标图像与重构图像之间的像素差，称为像素损失；

S5、计算信任度蒙版矩阵的交叉熵损失，称为蒙版损失；

S6、从目标图像直接估计像素相对深度，计算深度矩阵与所述像素深度预测矩阵之间的差值，称为深度损失；

S7、计算所述像素深度预测矩阵的平滑度损失；

S8、以所述像素损失、所述蒙版损失、所述深度损失和所述平滑度损失构成损失函数，优化该损失函数，更新网络参数，直到收敛；

其中，所述测试过程包括如下步骤：

T1、向已经训练完毕的所述视觉里程计网络中输入无线胶囊内窥镜图片序列，包括源图片和目标图片；

T2、由所述“姿态网络”输出目标图片转换到源图片的位姿变换矩阵；

T3、根据新计算出的位姿变换矩阵和之前从上一个生物解剖界标为起点累计的历史位姿变换矩阵，计算出无线胶囊内窥镜当前相对于上一个生物解剖界标的位姿。

2.如权利要求1所述的无线胶囊内窥镜的体内相对定位方法，其特征在于，所述图片序列包含连续的三张图片，其中第一张图片和第三张图片为所述源图片，第二张图片为所述目标图片。

3.如权利要求1或2所述的无线胶囊内窥镜的体内相对定位方法，其特征在于，所述信任度蒙版矩阵为所述目标图片在四种不同尺度下的信任度蒙版矩阵，所述像素深度预测矩阵为所述目标图片在四种不同尺度下的像素深度预测矩阵。

4.如权利要求1或2所述的无线胶囊内窥镜的体内相对定位方法，其特征在于，步骤S6中，根据ShapefromShading算法从目标图片直接估计像素相对深度，称为SfS深度矩阵，然后计算所述SfS深度矩阵与所述像素深度预测矩阵之间的差值。

5.如权利要求1或2所述的无线胶囊内窥镜的体内相对定位方法，其特征在于，步骤S7中，计算所述像素深度预测矩阵的每个元素的导数的绝对值的和，作为所述像素深度预测矩阵的平滑度损失。

6.如权利要求1或2所述的无线胶囊内窥镜的体内相对定位方法，其特征在于，步骤S8中，将所述像素损失、所述蒙版损失、所述深度损失和所述平滑度损失相加，构成所述损失函数。

7.一种基于非监督学习的视觉里程计网络的训练方法，所述视觉里程计网络用于无线胶囊内窥镜的体内相对定位，其特征在于，所述训练方法包括如下步骤：

S1、向基于非监督学习的视觉里程计网络输入无线胶囊内窥镜图片序列，其中，所述图片序列包括源图片和目标图片，所述视觉里程计网络包括“姿态网络”和“深度网络”；

S2、由所述“姿态网络”输出所述目标图片转换到所述源图片的位姿变换矩阵以及输出所述目标图片的信任度蒙版矩阵；

S3、由所述“深度网络”输出所述目标图片的像素深度预测矩阵；

S4、基于所述位姿变换矩阵、所述像素深度预测矩阵和所述信任度蒙版矩阵，根据相机模型将源图像重构投影到目标图像上，计算目标图像与重构图像之间的像素差，称为像素损失；

S5、计算信任度蒙版矩阵的交叉熵损失，称为蒙版损失；

S6、从目标图像直接估计像素相对深度，计算深度矩阵与所述像素深度预测矩阵之间的差值，称为深度损失；

S7、计算所述像素深度预测矩阵的平滑度损失；

S8、以所述像素损失、所述蒙版损失、所述深度损失和所述平滑度损失构成损失函数，优化该损失函数，更新网络参数，直到收敛。