[发明专利]单目内窥镜三维图像的显示方法和系统

说明书

一种单目内窥镜三维图像的显示方法和系统，所述显示方法包括：获取单目内窥镜图像，将单目内窥镜图像输入预先建立的单目内窥镜图像与视差图对应关系的模型中，得到对应的视差图，根据视差图和单目内窥镜图像获取虚拟视点图像，对虚拟视点图像和单目内窥镜图像进行图像融合，得到单目内窥镜三维图像。由此，本发明基于单目内窥镜图像达到单目内窥镜图像的三维显示功能，实现了单目内窥镜图像的三维显示。

技术领域

本发明涉及内窥镜技术领域，具体涉及一种单目内窥镜三维图像的显示方法和系统。

背景技术

目前，多数医院都配备了内窥镜，辅助医生进行腹腔、胸腔、耳鼻喉等部位的微创手术，并发展出多种衍生功能，其优势是医生不再需要用手术刀将腹腔、胸腔切开，仅在手术目标区域开微创小孔就可以进行手术，根据人体的自恢复能力，小孔无需缝合，就可自行愈合，不仅缩短了康复的时间，而且减少了病人的创伤和痛苦。以腹腔镜为例，在手术过程中，医生通过腹腔镜头来观察患者腹腔状况，通过小切口插入患者腹部，因此腹腔镜获取的视频或图像是手术期间的主要数据来源。目前主流的内窥镜检测方式有两种，单目内窥镜和双目内窥镜。

单目内窥镜是指通过具有单目相机的探头获取病灶处的视频或者图像，单目内窥镜具有对计算资源要求不高、系统结构相对简单的优点，但现有的单目内窥镜无法实现对内窥镜图像的三维显示。

双目内窥镜虽可直接显示内窥镜三维图像，但其计算量较大、图像匹配难度大、并且结构复杂、成本较高。

发明内容

本发明主要解决的技术问题是如何实现单目内窥镜图像的三维显示。

根据第一方面，一种实施例中提供一种单目内窥镜三维图像的显示方法，包括：

获取观察区域的单目内窥镜图像；

将所述单目内窥镜图像输入预先建立的单目内窥镜图像与视差图对应关系的模型中，得到所述单目内窥镜图像对应的视差图；其中，所述视差图用于表征所述单目内窥镜图像与虚拟视点图像之间各个对应像素的位置偏差；所述虚拟视点图像为与所述单目内窥镜图像存在位置偏差的虚拟图像；

根据所述视差图和单目内窥镜图像，得到所述虚拟视点图像；

对所述虚拟视点图像和单目内窥镜图像进行图像融合，得到对应的单目内窥镜三维图像。

在一实施例中，所述单目内窥镜图像与视差图对应关系的模型的预先建立方法，包括：

从预先构建的训练数据集中获取多个训练图像；将多个所述训练图像作为输入，进行机器学习，训练得到单目内窥镜图像与视差图对应关系的模型。

在一实施例中，所述单目内窥镜图像与视差图对应关系的模型，包括：

编码器模块，用于提取输入的单目内窥镜图像的特征图像；

解码器模块，用于根据所述编码器模块提取的特征图像，获取所述单目内窥镜图像的视差图。

在一实施例中，所述编码器模块包括：多个第一卷积层和多个下采样层；所述第一卷积层与下采样层一一对应连接；

所述第一卷积层包括拉普拉斯叠加层和卷积单元；

所述拉普拉斯叠加层用于与对应卷积层输入的图像进行拉普拉斯金字塔融合处理，并输出拉普拉斯融合处理后的特征图像至所述卷积单元；

所述卷积单元用于对拉普拉斯融合处理后的特征图像进行卷积处理，输出卷积处理后的特征图像至所述下采样层；

所述下采样层用于对卷积处理后的特征图像的尺寸进行缩小处理。

在一实施例中，所述下采样层利用双线性插值方式对卷积处理后的特征图像的尺寸进行缩小处理。