[发明专利]利用深度神经网络的实时运动监测

权利要求书

1.一种方法，包括：

利用第一深度神经网络来训练患者状态生成器以将输入的实时局部患者测量与包括参考体积的患者模型相关联以输出患者状态；

利用从所述第一深度神经网络输出的所述患者状态和所述参考体积作为对第二深度神经网络的输入来训练所述第二深度学习网络以输出所述患者状态与所述参考体积之间的相对运动信息；以及

从图像获取装置接收图像的实时流；

使用处理器利用第一深度学习网络和第二深度学习网络来估计与所述图像的实时流的图像相对应的相对运动。

2.根据权利要求1所述的方法，其中，利用多患者数据的大型数据库来训练所述第一深度神经网络，并且其中，输出的患者状态由于患者特定的输入的实时局部患者测量而是患者特定的。

3.根据权利要求1所述的方法，其中，所述参考体积是通过从MRI提取数据的2D切片而合成的MR图像。

4.根据权利要求1所述的方法，其中，所述参考体积是通过利用射线跟踪算法生成2D X射线而合成的CT图像。

5.根据权利要求1所述的方法，其中，训练所述第一深度神经网络包括：使用两个4D数据集，包括从第一4D数据集提取切片以用作输入图像，使用第二4D数据集作为所述患者模型，以及使用所述第一4D数据集作为输出的患者状态。

6.根据权利要求1所述的方法，其中，所述相对运动是从所述第一深度神经网络输出的患者状态与所述参考体积之间的3D位移矢量场(DVF)。

7.根据权利要求6所述的方法，其中，所述DVF用于使治疗计划适应于在在其上制定了所述治疗计划的所述参考体积与所述患者状态之间检测到的变化。

8.根据权利要求1所述的方法，其中，所述参考体积是4D患者模型的一个相位。

9.根据权利要求1所述的方法，其中，所述第一深度神经网络包括用于所述输入图像的第一CNN、用于所述4D输入的第二CNN以及用于匹配从所述第一CNN和所述第二CNN输出的特征的相关层。

10.根据权利要求9所述的方法，其中，当所述相对运动是周期性的时，所述第二CNN在时间维度上使用圆形卷积。

11.根据权利要求9所述的方法，其中，所述患者状态生成器包括编码器-解码器CNN模型，所述编码器-解码器CNN模型用于将所述相关层的输出编码为高级表示并且产生密集的每像素的患者状态描述。

12.根据权利要求9所述的方法，其中，将所述图像的实时流的所述图像的每个块与所述患者模型的3D体积中的块进行比较，所述比较受到取决于所述图像内捕获的器官的最大位移约束的限制。

13.根据权利要求1至12中任一项所述的方法，其中，所述第一深度神经网络的输出是对来自时间离散4D患者模型的原始数据进行插值的灰度级体积。

14.根据权利要求1至12中任一项所述的方法，其中，在患者的周期性运动中的呼气结束时提取所述参考体积。

15.一种方法，包括：

使用处理器利用输入的实时局部患者测量和包括参考体积的患者模型来训练第一深度神经网络以输出患者状态；

利用所述患者状态和所述参考体积来训练第二深度神经网络以输出所述患者状态与所述参考体积之间的相对运动信息；以及

从图像获取装置接收图像的实时流；

使用所述处理器利用第一深度学习网络和第二深度学习网络来估计与所述图像的实时流的图像相对应的相对运动；以及

输出所述相对运动以显示在显示装置上。