[发明专利]支气管镜的辅助导航方法、装置及设备

权利要求书

1.一种支气管镜的辅助导航方法，其特征在于，所述方法包括：

通过支气管镜所采集的视频图像重建局部支气管树内部3D模型；

确定所述视频图像中的关键帧，根据所述关键帧，得到所述支气管镜在虚拟3D支气管树中的初步定位范围；

根据所述虚拟3D支气管树中的支气管镜的初步定位范围，在所述虚拟3D支气管树中截取得到局部虚拟3D支气管树内部结构；

将截取得到的局部虚拟3D支气管树内部结构和重建的局部支气管树内部3D模型进行配准，根据配准结果对所述支气管镜进行导航。

2.根据权利要求1所述的方法，其特征在于，通过支气管镜所采集的视频图像重建局部支气管树内部3D模型，包括：

根据支气管镜所采集的视频图像构建2.5D草图，所述2.5D草图包括深度图、轮廓图、纹理图和法线图；

根据各帧视频图像对应的深度图、轮廓图、纹理图和法线图重建得到局部支气管树内部3D模型。

3.根据权利要求2所述的方法，其特征在于，根据支气管镜所采集的视频图像构建2.5D草图，包括：

将所述支气管镜所采集的视频图像输入到预先训练完成的2.5D重建网络，通过所述2.5D重建网络分别输出各帧视频图像所对应的深度图、轮廓图、纹理图和法线图。

4.根据权利要求3所述的方法，其特征在于，在根据各帧视频图像对应的深度图、轮廓图、纹理图和法线图重建得到局部支气管树内部3D模型之后，所述方法还包括：

通过重建的局部支气管树内部3D模型进行投影处理，得到投影后的深度图、轮廓图、纹理图和法线图；

确定投影后的深度图、轮廓图、纹理图和法线图，与2.5D草图中深度图、轮廓图、纹理图和法线图之间的差异信息，根据所述差异信息约束所述2.5D重建网络。

5.权利要求要求2所述的方法，其特征在于，根据各帧视频图像对应的深度图、轮廓图、纹理图和法线图重建得到局部支气管树内部3D模型，包括：

将所述深度图、轮廓图、纹理图和法线图输入到预先训练完成的3D重建网络，根据所述3D重建网络计算得到重建的局部支气管树内部3D模型。

6.根据权利要求5所述的方法，其特征在于，所述3D重建网络由下述方式训练得到：

获取样本数据，所述样本数据包括样本视频和所述样本视频对应的样本3D支气管树模型；

提取所述样本视频中的各帧视频图像对应的深度图、轮廓图、纹理图和法线图；

将所述深度图、轮廓图、纹理图和法线图输入到所述3D重建网络，计算得到预测支气管树内部3D模型；

确定所述样本3D支气管树模型和所述预测支气管树内部3D模型的差异，根据所述差异调整所述3D重建网络，获得训练完成的3D重建网络。

7.根据权利要求1所述的方法，其特征在于，确定所述视频图像中的关键帧，包括：

将所述视频图像输入到预先训练完成的关键帧检测网络，识别出各帧视频图像所属的类型，并根据各帧视频图像所属的类型，确定出关键帧；

或者，接收外部设备传输的针对各帧视频图像的分析结果，并根据所述分析结果确定出关键帧，所述分析结果包括各帧视频图像所属的类型。

8.根据权利要求1所述方法，其特征在于，根据所述关键帧，得到所述支气管镜在虚拟3D支气管树中的初步定位范围，包括：

获取所述虚拟3D支气管树对应的2D虚拟切片图；

将所获取的多个关键帧与所述2D虚拟切片图进行相似度计算，根据相似度计算结果得到所述支气管镜在虚拟3D支气管树中的初步定位范围。

9.根据权利要求1所述的方法，其特征在于，将截取得到的局部虚拟3D支气管树内部结构和重建的局部支气管树内部3D模型进行配准，包括：

将所截取得到的局部虚拟3D支气管树内部结构与重建的局部支气管树内部3D模型进行形状特征和纹理特征的配准；

根据配准结果确定支气管镜在所述虚拟3D支气管树中的位置。