[发明专利]增强现实的非真实感绘制

说明书

技术领域

本发明涉及一种绘制图像的方法，尤其提供了遮挡暗示， 例如在医学上的增强现实显示中。

背景技术

增强现实(AR)正成为手术过程中的一种有价值的工具。 在手术任务的过程中提供实时的、被记录的手术前数据不需要参考离 线图像并且有助于将这些数据记录到真实的组织。感兴趣对象的可视 化通过AR提供的“透视景象”变成可实现的。

近年来，越来越多地在微创手术(MIS)中使用医疗遥 控设备。通过遥控设备辅助的MIS，微处理器控制的机械手臂增强了 灵巧性，允许动作调整以减少总的手移动，以及允许执行在其他情况 下不可能执行的微尺度任务。

手术遥控设备的独特操作设置提供了理想的平台，用以 通过手术前/手术时的图像或计算机生成的图形增大视野。AR的行效 性和临床效益已经在神经手术和整形手术中得到了广泛的认可。然而， AR在心脏和胸腔手术和肠胃手术中的应用仍然有限，其原因是由于 组织变形的复杂性为AR显示带来了巨大的挑战。

AR的无缝合成依赖于许多因素，这些因素和虚拟对象 显示的方式以及其与真实场景在视觉上的相互作用有关。AR中的主 要问题之一是正确处理遮挡。尽管虚拟环境和现实环境的部分遮挡的 处理能够通过手术场景的精确3D重建实现，但是尤其是随着实时3D 组织变形恢复的新技术的出现，大部分手术AR应用包含了在暴露的 组织表面背后的解剖结构的叠覆。解剖结构的叠覆对于例如冠状动脉 搭桥是很重要的，在所述冠状动脉搭桥中，改良的解剖可视化和机能 可视化允许更精确的手术中导航和血管切除。在前列腺切除手术中， 围绕物解剖的3D可视化导致改良了神经血管束保护以及提高了自制 率和效力率。

虽然在立体景象环境中提供有用的平面参考，但是传统 覆盖的AR具有不精确的深度感知问题。即便对象在正确的深度绘制， 但大脑也感知到对象在表面的上方浮动(例如参见由Johnson LG等人 撰写的文章，刊登在Studies in Health Technology and Informatics 2003 第94期第131-136页的“Surface transparency makes stereo overlays unpredictable：the implications for augmented reality”；以及由Swan JE等 人撰写的文章，刊登在IEEE Transactions on Visualization and Computer Graphics 2007第13(3)期第429-442页的“Egocentric Depth Judgments in Optical，See-Through Augmented Reality”)。

对于被感知为嵌入在组织内的对象，我们的大脑期待一 定程度的遮挡。为了解决AR中深度感知的问题，已经开发了许多绘 制技术和显示策略以允许精确地感知虚拟结构相对于暴露的组织表面 的3D深度。在Sielhorst T等人撰写的刊登在Medical Image Computing and Computer-Assisted Intervention-MICCAI 20062006第364-372页的 文章“Depth Perception-A Major Issue in Medical AR：Evaluation Study by Twenty Surgeons”中，已经研究过在医疗AR中的深度感知问题。与 上述两篇引用的参考文章一致，已经发现如果AR对象被绘制为不透 明的，那么该AR对象的深度感知就很差，因为即便该AR对象被绘 制在其背景正确的深度，它也看来似乎浮在外体表面的上面。两种改 良深度感知的方法已经被确定：将体表面和AR对象都绘制成透明的 或者用其内部定义的窗口绘制体表面，以便该窗口提供遮挡线索，由 此在该窗口内可以看到在另外的情况下被体表面遮挡的AR对象。关 于前一个方法(透明绘制)，虽然其可以导致改良某些表面的深度感 知，但是在通常情况下，绘制两个覆盖的透明表面导致在遮挡处的视 觉线索冲突，这使得深度感知很差(参见上述引用Johnson等人的文 章)。后一个方法(绘制窗口)的缺点是关于窗口内体表面的所行信 息都丢失了。