[发明专利]用于增强深度感知的虚拟阴影

权利要求书

1.一种用于增强对象表面的图像的方法，所述方法包括：

由处理器识别所述对象表面的图像，所述对象表面的图像是所述对象表面和工具的至少一部分的图像；

由所述处理器识别所述对象表面的三维(3D)模型；

由所述处理器生成第一增强3D模型，生成所述第一增强3D模型包括将所述工具的表示叠加在所识别的所述对象表面的3D模型上；

由所述处理器将虚拟光源引入所生成的第一增强3D模型中；

由所述处理器生成第二增强3D模型，生成所述第二增强3D模型包括基于引入所生成的第一增强3D模型中的所述虚拟光源，在所生成的第一增强3D模型中生成所述对象表面上的阴影的表示；以及

由所述处理器增强所识别的所述对象表面的图像，增强所识别的所述对象表面的图像包括将所生成的阴影的表示叠加在所识别的所述对象表面和所述工具的图像上。

2.根据权利要求1所述的方法，其中识别所述对象表面的图像包括：

由腹腔镜生成表示所述对象表面的图像数据；以及

由所述处理器基于所生成的图像数据生成所述对象表面的图像。

3.根据权利要求1所述的方法，其中识别所述对象表面的3D模型包括：

由内窥镜生成表示所述对象表面的数据；以及

由所述处理器基于所生成的数据生成所述对象表面的3D模型。

4.根据权利要求3所述的方法，其中所识别的所述对象表面的图像来自视点，并且

其中生成所述对象表面的3D模型包括基于从相同视点生成的数据生成所述对象表面的3D模型。

5.根据权利要求3所述的方法，其中所述内窥镜是结构光内窥镜，

其中生成表示所述对象表面的数据包括：

用所述结构光内窥镜生成所述对象表面的点云；以及

用所述处理器基于所生成的点云生成所述对象表面的网格，以及

其中基于所生成的数据生成所述对象表面的3D模型包括基于所生成的所述对象表面的网格生成所述对象表面的3D模型。

6.根据权利要求5所述的方法，其还包括识别所述工具的位置。

7.根据权利要求6所述的方法，其中识别所述工具的位置包括通过光学跟踪系统识别所述工具相对于所述对象表面的3D模型的3D位置。

8.根据权利要求7所述的方法，其中所述光学跟踪系统包括：

定位在所述工具上的一个或多个标记；

定位在所述结构光内窥镜上的一个或多个标记；以及

定位在远离所述对象一定距离处的一个或多个相机，所述一个或多个相机配置成生成所述工具的一个或多个标记和所述结构光内窥镜的一个或多个标记的图像数据，

其中所述方法还包括由所述处理器识别所述工具的3D模型，并且

其中识别所述工具相对于所述对象表面的3D模型的3D位置包括：基于所述工具的一个或多个标记和所述结构光内窥镜的一个或多个标记的图像数据以及所识别的工具的模型，估计所述工具相对于所述对象表面的3D模型的3D位置。

9.根据权利要求7所述的方法，其中识别所述工具的3D模型包括：

由所述处理器基于正在使用的工具从存储在存储器中的多个预定工具模型识别所述工具的3D模型，所述存储器与所述处理器通信；或者

由所述处理器基于所识别的所述对象表面和所述工具的图像确定所述工具的形状和尺寸，并且由所述处理器基于所述工具的确定形状和确定尺寸生成所述工具的3D模型。

10.根据权利要求1所述的方法，其中将所述虚拟光源引入所生成的第一增强3D模型中包括：在来自识别图像的向上矢量中或在如配置成识别所述工具的位置的光学跟踪系统所定义的重力朝上的位置，将所述虚拟光源引入所生成的第一增强3D模型中。