[发明专利]基于形态特征GAN的跨模态MRI合成方法

说明书

本发明公开基于形态特征GAN的跨模态MRI合成方法，包括建立MRFE‑GAN模型，包括残差网络模块和模态代表特征提取模块；源模态通过残差网络模块获取到伪目标模态；通过模态代表特征提取模块提取伪目标模态的代表性特征并将其与源模态的基础信息合并，融合生成合成目标模态。本发明能够获得更加真实有效的目标模态；能够有效克服跨域模态之间的信息差异，能够有效地提取不同级别的数据；有效地减少合成模态和真实目标模态的差异，使得合成图像更加真实可靠。

技术领域

本发明属于图像处理技术领域，特别是涉及基于形态特征GAN的跨模态MRI合成方法。

背景技术

计算机断层扫描(CT)、磁共振成像(MRI)和正电子发射断层扫描(PET)等医学成像技术是现代医疗保健的重要组成部分。可以捕获软组织中对比度差异的MRI已成为研究神经解剖学的主要成像方式。通过施加不同的脉冲序列和参数，可以在对相同的解剖结构成像时产生各种各样的组织对比，从而获得不同对比的图像，即MRI模态。例如，通过选择脉冲序列(如磁化准备的梯度回波(MPRAGE)和召回的变差梯度(SPGR))，可以生成清晰地描绘灰质和白质组织的T1加权(T1)图像。相反，T2加权(T2)图像描绘了来自皮质组织的液体，是通过应用脉冲序列(如双自旋回波(DSE))生成的。此外，液体衰减反转恢复(FLAIR)是T2加权脉冲序列，采用反转恢复来增强白质病变的图像对比度。同一患者的不同对比图像可提供不同的诊断信息。磁共振成像(MRI)技术可以通过使用不同的脉冲序列和参数来产生各种组织对比度。具有不同组织对比度的相同解剖结构增加了MRI信息的多样性。但是，为同一检测者获得多个不同的对比图像(或模态)非常耗时且昂贵。所以在实际情况下，由于诸如扫描时间有限和成本昂贵之类的相关因素，为同一患者获取的造影剂模态的数量总是受到限制。

虽然目前有一些合成方法来通过深度网络进行模态合成，但是由于源和目标模态之间的特征分布差异较大，即使现有方法可以一定程度地了解不同模态之间的映射，但是输入与生成的图像之间仍可能存在某些差异，无法有效地减少差异，造成合成图像和真实图像存在较大的差异。

发明内容

为了解决上述问题，本发明提出了基于形态特征GAN的跨模态MRI合成方法，能够获得更加真实有效的目标模态；能够有效克服跨域模态之间的信息差异，能够有效地提取不同层次的特征；有效地减少合成模态和真实目标模态的差异，使得合成图像更加真实可靠。

为达到上述目的，本发明采用的技术方案是：基于形态特征GAN的跨模态MRI合成方法，包括步骤：

建立MRFE-GAN模型，包括残差网络模块和模态代表特征提取模块；

源模态通过残差网络模块获取到伪目标模态；

通过模态代表特征提取模块提取伪目标模态的代表性特征并将其与源模态的基础信息合并，融合生成合成目标模态。

进一步的是，所述残差网络模块将源模态作为输入，在所述残差网络模块中通过建立中间模态，以模拟目标模态构成伪目标模态。在图像合成任务中，输入和输出之间的特征信息完全不同，这意味着需要更深的网络来提高合成性能，但在网络的加深过程中，可能会导致网络难以优化，从而降低性能。残差网络能够有效克服此问题。

进一步的是，所述残差网络模块包括依次运行的3个下采样块、12个残差块和3个反卷积层；所述下采样块将特征图的数量从1增加到256，并且每个下采样块包括依次运行的卷积、实例归一化和ReLU层；所述残差块包括填充、卷积、实例归一化和ReLU层；所述反卷积块包括反卷积、实例归一化、ReLU层和激活函数。通过实例归一化能够有效来维护每个卷积层之后每个模态实例的独立性。