[发明专利]基于潜在信息表征GAN的多模态MRI合成方法

说明书

本发明公开基于潜在信息表征GAN的多模态MRI合成方法，包括步骤：将不同的MRI模态的集体信息输入生成网络；生成网络通过使用不同的编码器分别提取多种MRI模态的潜在信息表征；提取的潜在信息表征进一步传输到潜在空间处理网络进行集成处理；由解码器获得相应的合成目标模态，作为合成图像；将合成图像和真实图像共同输入至鉴别网络；由鉴别网络将真实图像与生成的图像区分开。本发明能够灵活的接收多个输入模态，并将多输入模态进行合成，能够有效避免信息丢失，有效提高合成图像的保真度，获得真实体现检测部位的高品质图像；适用范围宽，计算效率高，且实际运用效果好。

技术领域

本发明属于图像处理技术领域，特别是涉及基于潜在信息表征GAN的多模态MRI合成方法。

背景技术

磁共振成像(MRI)作为一种无创性成像技术，已成为研究神经解剖学的主要成像方式。可以通过使用不同的脉冲序列和参数来产生不同的组织对比图像，从而形成同一解剖结构的不同模态。但是，在实践中，由于时间限制，会造成某些序列发生丢失；某些模态会受到随机噪声和非预期的图像伪影的影响，从而导致图像质量较差。上述因素使得对于同一被检测人员可用的对比图像的数量总是受到限制。因此，需要利用已经成功获得的其他模态合成丢失或损坏的模态；合成后的模态不仅可以替代丢失或损坏的模态，而且具有改善其他图像分析任务的潜在价值。

目前，有许多用于MRI图像的单模态合成方法。需要对不同的病理特征采用其特定的方式，使用各种单模态合成方式提供的有效信息可以从理论上提高合成图像的质量并提高诊断的实用性，但是适用范围窄，实际运用效果差。而多模态合成的方向比使用单模态合成方法获得了更好的合成结果。目前对于多模态合成方法研究较少，且仅有的方式仍然存在很多缺点，会导致信息丢失和综合性能欠佳，造成合成图像不能够真实有效体现检测部位的形态。

作为最流行的深度学习技术之一，生成对抗网络(GAN)已应用于图像合成领域。但是，现有方式在将GAN扩展到多模式转换时，采用的方式是将不同的模态堆叠为输入，以单模态形式优化网络。由于不同的模式呈现出不同的物理状态，因此这些方法大大降低了从每种方式中提取信息的效率，导致合成结果不理想。

发明内容

为了解决上述问题，本发明提出了基于潜在信息表征GAN的多模态MRI合成方法，能够灵活的接收多个输入模态，并将多输入模态进行合成，能够有效避免信息丢失，有效提高合成图像的保真度，获得真实体现检测部位的高品质图像；适用范围宽，计算效率高，且实际运用效果好。

为达到上述目的，本发明采用的技术方案是：基于潜在信息表征GAN的多模态MRI合成方法，包括步骤：

S100,将不同的MRI模态的集体信息输入生成网络；

S200,生成网络通过使用不同的编码器分别提取多种MRI模态的潜在信息表征；提取的潜在信息表征进一步传输到潜在空间处理网络进行集成处理；由解码器获得相应的合成目标模态，作为合成图像；

S300,将合成图像和真实图像共同输入至鉴别网络；

S400,由鉴别网络将真实图像与生成的图像区分开。

进一步的是，为了从多个模态中提取特定信息，在生成网络中包括有多个相互独立的编码器，每个编码器对应输入一个MRI模态并提取该模态的潜在信息表征；编码器的数量取决于输入模态的数量。编码器在保留模态特定信息的潜在信息表征的同时保证了模态不变性；与使用相同的卷积核来提取不同模态的特征相比，使用特定的编码器分别提取每个模态的潜在表示可以提取更有效的多种模态的潜在信息表征进行合成。

进一步的是，所述编码器包括3个卷积块，每个卷积块结构相同，所述卷积块依次进行填充、归一化、激活和卷积处理；

在第一个卷积块中采用3×3的零填充，进行填充；在其余2个卷积块中应用1×1的零填充，进行填充；