[发明专利]一种基于感知一致生成对抗网络的三维医学图像重建方法

说明书

本发明公开了一种基于感知一致生成对抗网络的三维医学图像重建方法，提出用二维图像的三视图重建三维图像的方法，融合感知一致约束的感知一致生成对抗网络(Sense‑consistency Generative Adversarial Network,SGAN)去学习潜在的由粗到细的感知信息。首先，沿着投影方向展开一组二维图像三视图中的每一个切片，然后将其连接起来，形成与实际三维图像对应的相同形状的三通道三维图像；然后，采用感知一致性约束提供在训练生成模型时需要的潜在的从粗到细的感知信息，对SGAN模型进行训练；最终训练完成得到最终的SGAN模型，实现将二维图像转换为真实三维图像。本发明能够从一组三视角二维图像重建三维图像，一定程度上解决了UR任务。

技术领域

本发明属于医学图像处理技术领域，具体涉及一种三维医学图像重建方法。

背景技术

三维图像重建技术构成了常用成像方式的基础，如CT、MRI和PET，它们在医学图像分析中非常有用。这些技术通常需要从相对运动中获得一系列的二维切片/断层图，从而提供足够的三维信息。然而，如何有效地获取最有用的三维信息，以减少辐射剂量或成像时间，一直没有得到很好的研究。例如，在一个人的身体中定位异常物体如医疗植入物或损伤，完成这一任务就需要三维图像提供的三维空间。采用现有技术可行的一种方案是用二维切片序列扫描三维图像。但是，这些二维切片提供了大量冗余的对于定位没有用处的信息，并且在一定程度上造成了资源的浪费。由于一组正交的多视角二维图像就能够提供三维空间信息，因此，本发明提出了极限重建任务(Ultimate Reconstruction，UR)任务——仅从一组正交的三视角二维图像中重建三维图像。目前现有的技术并没有能够实现这一任务的。

发明内容

为了克服现有技术的不足，本发明提供了一种基于感知一致生成对抗网络的三维医学图像重建方法，提出用二维图像的三视图重建三维图像的方法，融合感知一致约束的感知一致生成对抗网络(Sense-consistency Generative Adversarial Network,SGAN)去学习潜在的由粗到细的感知信息。首先，沿着投影方向展开一组二维图像三视图中的每一个切片，然后将其连接起来，形成与实际三维图像对应的相同形状的三通道三维图像；然后，采用感知一致性约束提供在训练生成模型时需要的潜在的从粗到细的感知信息，对SGAN模型进行训练；最终训练完成得到最终的SGAN模型，实现将二维图像转换为真实三维图像。本发明能够从一组三视角二维图像重建三维图像，一定程度上解决了UR任务。

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤1：构建采用感知一致性约束的SGAN模型；

所述SGAN模型包括一个采用UNet神经网络的生成模型和具有两个分支的判别模型，判别模型的两个分支分别由两个相同的五层卷积神经网络构成；

步骤2：二维图像预处理；

源图像为一组正交的三视角二维图像，将正视图X_f沿正视方向延展D个副本，左视图X_l沿左视方向延展H个副本，俯视图X_t沿俯视方向延展W个副本，生成大小H×W×D的三维图像；将生成的三维图像再按通道维度堆叠形成3通道3D图像，表示为大小为H×W×D×3；缩放三维图像使其在每个方向具有相同的空间分辨率；再将三维图像在三个方向上以滑动窗的方式裁剪出大小为N×N×N的多个图像块；

对所有的源图像进行上述处理后和源图像对应的真实三维图像一起构成图像数据集；

步骤3：SGAN模型训练；

以步骤2构成的图像数据集为样本，将处理后的源图像裁剪出的N×N×N大小的多个图像块输入生成模型，生成模型的输出为重建的三维目标图像；