[发明专利]虚拟或增强现实辅助3D可视化和标记系统

说明书

提供了一种向三维虚拟图像或虚拟对象施加标记的系统和方法，该系统包括：物理触笔、表面以及虚拟或增强现实显示器。通过虚拟或增强现实显示器来显示虚拟空间。该虚拟空间包括：三维目标对象；包括跟踪平面的至少一个平面，该跟踪平面对应于所述表面；以及虚拟现实视图中的虚拟触笔，或者增强现实视图中的物理触笔。虚拟触笔或物理触笔相对于跟踪平面的位置与该物理触笔相对于所述表面的实际位置相关；以及目标对象的横截面显示在跟踪平面上，其中，跟踪平面与目标对象相交。

相关申请的交叉引用

本申请要求于2018年7月9日提交的美国临时专利申请No.62/695,580的优先权，其内容通过引用并入本文。

技术领域

本公开涉及在三维虚拟或增强现实系统内可视化对象并施加标记的系统和方法。

背景技术

在医学领域，诸如计算机断层扫描(CT：computed tomography)、磁共振成像(MRI：magnetic resonance imaging)、正电子发射断层扫描(PET：PET)以及其它三维(3D)医学成像模式这样的成像技术被用于对患者的解剖结构进行可视化。可以对从这些医学成像过程获得的医学成像数据进行分析，以标识关注器官或其它结构，并且可以由医疗专业人员进行审查，以确定患者的诊断或适当治疗方法。例如，放射肿瘤学家和其他放疗临床医生可以分析医学成像数据，以计划放疗治疗的过程并评估针对放疗目标的所计算出的剂量。

传统上，通过一个或更多个成像过程获得的3D患者的医学成像数据是在屏幕上以数字二维(2D)切片(slice)或横截面的形式呈现给医疗专业人员的。为了处理成像数据，医疗专业人员选择沿着主平面的扫描数据切片，然后使用鼠标器和光标或者触摸屏在该切片上进行绘制。例如，切片可以示出三维结构的横截面图，包括三维结构内的关注任何器官或其它结构的横截面。医疗专业人员可以对图像进行标记以突出显示具有医学重要性的特征，绕器官或其它结构中的一个或更多个绘制外形(轮廓)，或者以其它方式注释横截面图像。通常会对多个切片重复该处理。可以将所述多个切片上的器官或结构的外形进行组合以形成3D轮廓或模型。

当使用2D切片以在三维中注释3D图像体积和/或轮廓时，可能会出现各种挑战。例如，通常是在没有或者具有有限的3D结构取向和位置的背景和/或知识的情况下，孤立地对各个2D图像切片进行分析和绘制的。因此，医疗专业人员可能难以标识切片上的器官边界，从而导致不准确的注释或轮廓。另外，通常仅沿着具有固定取向的三个解剖平面(即，矢状面(sagittal)、冠状面(coronal)以及横断面(transverse plane))来提供图像切片。此外，某些结构(诸如臂丛神经)在这三个常规平面中的任何平面上都是不容易可视化的，因此，如果仅以采用三个常规平面的切片来提供这些结构，那么医疗专业人员可能无法准确地对这些结构进行标识和/或轮廓化。

三维成像数据通常是在触摸屏计算机系统上进行分析的，其中，用户可以单独选择该3D图像中的、要进行注释或者进行轮廓化/绘制的2D切片。触摸屏的物理尺寸可能会在正被绘制或注释的图像与用于进行绘制/注释的装置之间产生障碍，从而降低了注释或轮廓的精度。此外，用户的手和触笔可能会遮挡图像的视线，从而因出于视敏度来对图像进行定期的重新定位而增加了轮廓化处理的时间。最后，在不了解结构的3D形状的情况下，用户可能需要频繁地在切片之间进行切换，例如，在不同切片上绘制或者提供3D背景，这对于进行注释/绘制以及在审查轮廓时都既麻烦又耗时。