[发明专利]用于查看3D或4D医学图像数据的基于扩展现实的用户接口附加组件、系统和方法

说明书

本发明涉及一种用于查看3D或4D医学图像数据(2)的系统(1)，所述系统(1)包括：(a)医学查看应用(MRA)(4)，其包括处理模块(6)和2D用户接口(16)，所述处理模块被配置为处理3D或4D数据集(2)以生成3D内容(8)；其中，所述2D用户接口(16)被配置为显示所述3D内容(8)并且允许用户(30)生成用户输入(18)命令；(b)基于扩展现实(XR)的用户接口附加组件(XRA)(100)；以及(c)数据交换信道(10)，其被配置为将所述处理模块(6)与XRA(100)接口连接；其中，所述XRA(100)被配置为解释和处理所述3D内容(8)并将它转换为可在XR环境(48)中显示给所述用户(30)的XR内容；其中，所述XR环境(48)被配置为允许用户生成用户输入(18)事件，并且所述XRA(100)被配置为处理所述用户输入(18)事件并将它们转换为可由所述MRA(4)读取的用户输入(18)命令。本发明还涉及基于扩展现实的用户接口附加组件(100)、用于分析3D或4D数据集(2)的相关方法、以及相关的计算机程序。

技术领域

本发明涉及用于查看3D或4D医学图像数据的系统、基于扩展现实的用户接口附加组件、用于分析3D或4D数据集的方法以及相关的计算机程序。

背景技术

对于人类或动物身体的内部结构(特别是器官和组织)的可视化，医学成像模态(诸如X射线计算机断层摄影(CT)、磁共振成像(MRI)和超声)通常用于采集身体内部的二维(2D)、三维(3D)或四维(4D)图像(第四维度是时间)。这些医学图像在手术介入的规划中起重要作用。特别是在植入医学植入物(例如人造心脏瓣膜)的介入中，允许可能的最准确规划的解剖结构的全面呈现对于处置的成功是至关重要的。

可以直接采集3D图像数据集，或它们可以通过通常以规则图案扫描多个相邻2D图像切片并例如通过计算机将它们组合成体积网格来产生。3D图像的每个体积元素(体素)被分配相应2D图像切片中的像素的灰度值，其表示体素坐标周围的区域。

根据3D图像，可以通过内插最接近于期望的2D图像平面的体素/像素值来在任何取向上生成2D图像平面。该过程被称为多平面重建(MPR)，并且常常用于对3D图像数据集进行可视化。

为了使得医师能够在二维屏幕上检查身体的内部结构的3D图像，已经开发了许多技术。例如，体积绘制是用于显示3D离散采样数据集(诸如医学3D图像)的2D投影的一组技术。为了绘制3D数据集的2D投影，需要相对于图像体积定义相机位置。还需要定义每个体素的性质，诸如不透明度和颜色。这通常使用RGBA(红、绿、蓝、α)传递函数来定义，该RGBA传递函数为每个可能的体素值定义RGBA值。为了简化绘制过程，常常使用阈值，其中，具有低于阈值的值的体素被视为具有零值，以便不使视图杂乱到重要结构上。可以使用不同的技术，诸如体积射线投射、溅射、剪切扭曲或基于纹理的体积绘制。

尽管在许多情况下，图像数据集本质上是三维的，但是临床数据和手术规划的分析通常在二维屏幕上进行。尽管已经存在可用于大多数临床应用的非常复杂的软件解决方案，但是3D数据集内的导航仍然主要是通过手动移位、倾斜和旋转体积内的MPR平面或旋转3D体积绘制模型的平面2D表示来完成的。从这些MPR平面或体积绘制平面生成概念心理3D模型不仅需要大量经验和良好的空间想象力，而且由于误解深度信息或解剖相关性而总是具有错误临床决策的风险。高级着色和阴影通常用于生成和支持二维屏幕上的深度印象。此外，通常使用的2D输入设备(诸如计算机鼠标)被优化用于2D对象的操纵。因此，经由MPR平面处理3D对象不仅在一些情况下是不直观的，特别是对于新到该领域的人，而且通常也可能是相当耗时的。