[发明专利]从单目内窥镜图像估计实时深度

说明书

本发明总体上涉及牵涉到内窥镜的微创手术。本发明具体涉及估计从内窥镜获得的图像中所示对象的实时深度。

通常，最小侵入性手术利用内窥镜，内窥镜是具有成像能力的长而柔软或刚性的管。在通过自然孔窍或小切口插入身体内之后，内窥镜提供感兴趣区域的图像，在外科医生执行手术时，可以通过目镜或在屏幕上观察所述图像。对手术而言重要的是图像内(一个或多个)对象的深度信息，该信息将使得外科医生能够推进内窥镜，同时避开(一个或多个)对象，并且将方便对内窥镜位置的实时跟踪。然而，内窥镜图像的帧是二维的，因此外科医生可能会失去对在图像的屏幕快照中观察到的(一个或多个)对象的深度的感知。

本发明提供了一种技术，尽管内窥镜视频帧具有二维局限，但其可以利用来自单目(monocular)内窥镜图像的内窥镜视频帧生成深度图。

本发明的一种形式是一种采用了内窥镜和内窥镜手术控制单元的最小侵入性手术系统。在工作时，在将内窥镜推进到身体解剖区域内的目标位置时，内窥镜生成多个内窥镜视频帧，所述内窥镜视频帧图示了解剖区域的单目内窥镜图像。为了实时估计单目内窥镜图像内对象的深度(例如，支气管的单目内窥镜图像内支气管壁的形状)，在将内窥镜推进到目标位置时，内窥镜手术控制单元接收内窥镜视频帧，从而根据解剖区域的单目内窥镜图像帧时间序列内的(一个或多个)像点的光流来估计指示解剖区域的单目内窥镜图像内对象深度的景深。

本发明的第二种形式是一种内窥镜手术方法，其涉及将内窥镜推进到身体解剖区域内的目标位置，以及在将内窥镜推进到目标位置时生成多个内窥镜视频帧，所述内窥镜视频帧图示了解剖区域的单目内窥镜图像。为了实时估计单目内窥镜图像内对象的深度(例如，支气管的单目内窥镜图像内支气管壁的形状)，该方法还涉及生成解剖区域的单目内窥镜图像的帧时间序列内的一个或多个像点的光流，以及根据(一个或多个)像点的光流来估计指示单目内窥镜图像内(一个或多个)像点深度的景深。

图1图示了根据本发明的最小侵入性手术系统的示范性实施例。

图2图示了表示根据本发明的深度估计方法的示范性实施例的流程图。

图3图示了表示根据本发明在图2中所示深度估计方法的第一示范性实施例的流程图。

图4图示了图3中所示流程图的示范性应用。

图5图示了现有技术中已知的示范性光流。

图6图示了现有技术中已知的示范性景深。

图7图示了现有技术中已知的示范性深度图。

图8图示了表示根据本发明在图2中所示深度估计方法的第二示范性实施例的流程图。

如图1所示，本发明的最小侵入性手术系统10采用了内窥镜20和内窥镜手术控制单元30。

在这里将内窥镜20宽泛地定义为，在结构上配置成经由光纤、透镜、微型(例如基于CCD的)成像系统等对身体(例如，人或动物)的解剖区域进行内部成像的任何装置。内窥镜20的范例包括，但不限于，任何类型的窥镜(例如，支气管窥镜、结肠镜、腹窥镜等)以及类似于装备有图像系统(例如，成像套管)的窥镜的任何装置。

在这里将单元30的外部成像装置31宽泛地定义为，在结构上配置成对身体的解剖区域进行外部成像的任何装置。外部成像装置31的范例包括，但不限于，计算机断层摄影装置、磁共振成像装置、超声装置和x射线装置。