[发明专利]用于增强深度感知的虚拟阴影

说明书

为了改善腹腔镜手术期间显示的图像的深度感知，识别包括在图像中并用于腹腔镜手术的工具的阴影的表示并将其引入图像中，处理器通过将虚拟光源引入3D模型中以在3D模型内生成虚拟阴影增强包括图像中包括的对象表面的3D表示和工具的表示的三维(3D)模型。处理器从增强的3D模型减去阴影的表示，并将阴影的表示叠加在将在腹腔镜手术期间显示的图像上。

技术领域

本实施例涉及一种用于在图像上生成虚拟阴影的方法。

背景技术

腹腔镜和内窥镜相机用于观察患者体内以用于手术和诊断。腹腔镜和内窥镜相机基本上生成三维(3D)解剖结构的二维(2D)图像。在手术期间，操作者(例如，外科医生)引导工具以靶向患者体内的区域，从而例如基于用腹腔镜相机和/或内窥镜相机生成的2D图像流来切割组织，进行解剖和/或进行活检。使用2D图像流，失去深度感和3D感。这使得操作者难以导航和控制工具。

改善深度感知的当前方法包括创建3D可视化并引入缺失的深度信息，例如运动视差或阴影。用立体腹腔镜相机创建3D可视化，并使用3D显示器。3D显示器可能使操作者恶心，并且具有有限的工作体积，使3D显示器难以集成到手术室中或与多个团队成员一起工作。此外，一些3D显示器需要操作者佩戴眼镜，这可能在长程序期间引起不适。

可以用虚拟镜重新引入运动视差和运动视角。然而，虚拟镜的使用需要将术前模型配准到患者，并且虚拟镜配置成与增强现实一起使用。可以在腹腔镜相机上用附加的灯重新引入阴影。由于附加的灯与腹腔镜相机共同对准，因此投射的阴影的强度是有限的并且阴影的方向可能不是最佳的。

发明内容

为了改善在腹腔镜手术期间显示的图像的深度感知，人工创建图像中包括的并且在腹腔镜手术中使用的工具的阴影的表示并将其引入图像中。处理器用结构光内窥镜生成包括图像内包括的对象的表面的3D表示的三维(3D)模型。处理器确定工具的位置，并基于确定的位置将工具的表示引入3D模型。处理器通过将虚拟光源引入3D环境中生成投射到3D模型上的阴影来增强3D模型。处理器从增强的3D模型识别阴影的表示，并将阴影的表示添加到将在腹腔镜手术期间显示的图像。

在第一方面，提供了一种用于增强对象表面的图像的方法。所述方法包括由处理器识别所述对象表面的图像。所述对象表面的图像是所述对象表面和工具的至少一部分的图像。所述处理器识别所述对象表面的三维(3D)模型。所述处理器生成第一增强3D模型。生成所述第一增强3D模型包括将所述工具的表示叠加在所识别的所述对象表面的3D模型上。所述处理器将虚拟光源引入所生成的第一增强3D模型中。所述处理器生成第二增强3D模型。生成所述第二增强3D模型包括基于引入所生成的第一增强3D模型中的所述虚拟光源，在所生成的第一增强3D模型中生成所述对象表面上的阴影的表示。所述处理器增强所识别的所述对象表面的图像。增强所识别的所述对象表面的图像包括将所生成的阴影的表示叠加在所识别的所述对象表面和所述工具的图像上。

在第二方面，一种非暂时性计算机可读存储介质存储可由一个或多个处理器执行以增强对象表面的图像的指令。所述指令包括由处理器识别所述对象表面的图像。所述对象表面的图像是所述对象表面和工具的至少一部分的图像。所述工具与所述对象表面相邻。所述指令还包括由所述处理器识别所述对象表面的3D模型，以及由所述处理器将所述工具的表示叠加在所识别的所述对象表面的3D模型上。所述指令包括由所述处理器将虚拟光源引入所叠加的所述工具的表示和所识别的所述对象表面的3D模型中。所述指令还包括由所述处理器基于所引入的光源在所叠加的所述工具的表示和所识别的所述对象表面的3D模型内生成所述对象表面上的阴影的表示。所述指令包括由所述处理器将所生成的阴影的表示叠加在所识别的所述对象表面和所述工具的图像上。