[发明专利]基于残差Transformer生成对抗网络的MR图像合成CT图像系统及方法

说明书

本申请提供的一种基于残差Transformer生成对抗网络的MR图像合成CT图像系统及方法，设计一个新的生成器结构，在生器中加入了深层特征提取模块以提取更深层次的特征，对参考MR图像和参考CT图像进行学习训练得到MR合成CT模型；将实际MR图像输入所述MR合成CT模型生成合成CT图像。本申请弥补了传统生成对抗网络在捕捉全局信息能力的不足，提高了合成CT图像的准确性。同时，该生成器还包含特征增强模块，该模块利用卷积自适应加权全局信息与局部信息。本申请实现了Transformer与CNN的优势互补，并将其应用到医学图像合成任务中。

技术领域

本申请属于医学图像合成技术领域，具体涉及一种基于残差Transformer生成对抗网络的MR图像合成CT图像系统及方法。

背景技术

MR图像在对软组织、头部、骨盆区域进行放疗靶区勾画方面比CT图像具有一定的优势，但是由于MR没有放射治疗所需的电子密度，因此在传统放射治疗过程中将MR作为辅助手段。传统放射治疗通常是将MR与CT配准，在配准后的CT上进行放疗靶区勾画，配准算法的随机性和误差性会影响放射治疗，因此对配准算法有较高要求。由于传统放射治疗需要CT和MR图像，因此会增加患者的经济负担，同时患者在进行CT扫描时会受到潜在的辐射危害。

为克服传统放射治疗方法的缺陷，近几年来新兴了仅MR放射治疗技术，其只需要MR图像实现放射治疗，其关键技术为由MR图像合成CT图像，由合成CT图像代替真实CT，并提供放射治疗所需的电子密度。仅MR放射治疗既可减轻患者的经济负担，也可避免CT扫描时潜在的辐射危害。

现有的MR图像合成CT图像方法中，相对常见的方法有三种：基于图谱的方法、基于体密度的方法和基于机器学习的方法。随着深度学习技术的发展，卷积神经网络(CNN)方法和生成对抗网络的方法开始应用到MR图像合成CT图像任务中。深度卷积神经网络通过卷积运算提取图像特征进行图像重建。卷积运算利用滤波器进行局部处理，最小化图像像素值之间的损失，因而忽略了图像中的高频信息，但其对图像局部信息较为敏感。生成对抗网络是目前利用深度学习进行MR图像合成CT图像的主流方法，其主要有生成器与判别器组成，生成器学习MR到CT的映射关系，判别器鉴别合成CT与真实CT，两者相互博弈对抗。生成对抗网络的对抗性提高了网络对图像高频信息的捕捉能力，其中条件生成对抗网络的性能更是让人印象深刻。条件生成对抗网络是在生成对抗网络中加入条件信息，从而使其生成满足条件信息的图像，提高合成图像的准确性。但其生成对抗网络的方法依然是基于卷积运算，卷积运算固有的局部性使其忽略了图像全局的关联性，合成CT的准确性仍有待提高。

发明内容

针对现有技术存在的问题，本申请提供一种基于残差Transformer生成对抗网络的MR图像合成CT图像系统及方法，其能够解决现有技术中生成对抗网络时对全局信息捕捉不足的问题，进一步提高合成CT的准确性，进而推动仅MR放射治疗的发展。

第一方面，本申请实施例提供了一种基于残差Transformer生成对抗网络的MR图像合成CT图像系统，所述系统包括图像预处理单元、图像合成单元、图像生成单元，其中

所述图像预处理单元，用于对参考MR图像和参考CT图像进行预处理；

所述图像合成单元，用于得到MR合成CT模型；

所述图像生成单元，用于将实际MR图像输入所述MR合成CT模型生成合成CT图像。

在一种可能的实现方式中，所述图像合成单元包括生成器和判别器，其中

所述生成器，用于根据参考MR图像合成中间CT图像；

所述判别器，用于鉴别参考CT与中间CT图像,迫使所述生成器生成更加真实的CT图像。在一种可能的实现方式中，所述生成器包括编码器、深层特征提取模块和解码器，其中

所述编码器，用于提取参考MR图像不同分辨率下的特征，其中最后一个特征作为所述深层特征提取模块的输入；