[发明专利]基于形态特征GAN的跨模态MRI合成方法

权利要求书

1.基于形态特征GAN的跨模态MRI合成方法，其特征在于，包括步骤：

建立MRFE-GAN模型，包括残差网络模块和模态代表特征提取模块；

源模态通过残差网络模块获取到伪目标模态；

通过模态代表特征提取模块提取伪目标模态的代表性特征并将其与源模态的基础信息合并，融合生成目标模态；

其中，所述残差网络模块将源模态作为输入，在所述残差网络模块中通过建立中间模态，以模拟目标模态构成伪目标模态；

所述残差网络模块包括依次运行的3个下采样块、12个残差块和3个反卷积层；所述下采样块将特征图的数量从1增加到256，并且每个下采样块包括依次运行的卷积、实例归一化和ReLU层；所述残差块包括依次运行的填充、卷积、实例归一化和ReLU层；所述反卷积层依次运行的反卷积、实例归一化、ReLU层和激活函数；

其中，所述MRFE-GAN模型中的模态代表特征提取模块包括基础编码器、代表性编码器和解码器；将源模态输入所述基础编码器，由基础编码器从源模态提取基础信息；将伪目标模态输入所述代表性编码器，由代表性编码器从伪目标模态提取代表信息；所述基础编码器和代表性编码器并行连接至解码器，通过所述解码器将基础信息和代表信息融合生成合成目标模态；

在所述模态代表特征提取模块中，输入源模态x和伪目标模态y′，模态分布分别为P(x)和P(y)；在各个模态在且自有空间内分解为两个不同的分布，分别为：P(x1|x)和P(x2|x)，P(y1|y)和P(y2|y)；其中P(x1|x)和P(y1|y)是各个模态结构的基础分布，P(x2|x)和P(y2|y)是各个模态结构的表示分布；两种模态之间的差异通过P(x2|x)和P(y2|y)体现，它们可视为模态自有的代表特征；

在所述模态代表特征提取模块通过融合P(x1|x)和P(y2|y)获得基于x模态结构的y′模态代表特征；或者，在所述模态代表特征提取模块通过融合P(x2|x)和P(y1|y)获得基于y模态结构的x模态代表特征；

其中，所述基础编码器包括依次运行的3个下采样块和4个残差块，所述下采样块包括依次运行的卷积、实例归一化和ReLU层，所述残差块包括依次运行的填充、卷积、实例归一化和ReLU层；

所述代表性编码器包括5组卷积层和ReLU层组合、全局平均池化层、3组线性层；在代表性编码器的每个ReLU层之前丢弃所有实例归一化层，再利用全局平均池化将每个二维特征通道转换为实数，然后在三组线性层中对通道之间的相关性进行建模，以获得代表信息的平均值和标准差；

所述解码器，将代表编码器获得的标准差和平均值合并为解码器的自适应实例归一化层的比例参数和移位参数，从而将基础信息和代表信息融合生成合成目标模态；

所述解码器将基础信息和代表信息融合生成合成目标模态的步骤包括：

首先，由自适应实例归一化层进行规范化α：

其中，α是自适应实例归一化层的输入的代表信息，Δ(α)和Ξ(α)分别为代表信息α的标准差和平均值；

然后，对规范化后的α′乘以比例参数，并添加一个移位参数；完成两种信息的融合，达到重构模态生成合成目标模态：

α″＝Δ′*α′+Ξ′：

其中，比例参数为由形态编码器所提取的代表信息的标准差，移位参数是代表信息的平均值。

2.根据权利要求1所述的基于形态特征GAN的跨模态MRI合成方法，其特征在于，还包括两个判别器模块；向第一个判别器模块中输入真实目标模态和伪目标模态进行损失计算；向第二个判别器模块中输入合成目标模态和真实目标模态进行损失计算；结合第一个判别器模块和第二个判别器模块的损失计算构成MRFE-GAN模型的总损失函数，对总损失函数进行优化训练使最小化损失函数，通过调整参数优化所合成的目标模态。

3.根据权利要求2所述的基于形态特征GAN的跨模态MRI合成方法，其特征在于，在所述残差网络模块中根据源模态x生成伪目标模态G(x)，利用伪目标模态G(x)作为模态代表特征提取模块的一个输入来提取代表特征信息，具体过程为：

将伪目标模态G(x)放入第一鉴别模块D1中进行首次损失计算：

L_RESNET(G，D₁)＝E_y[logD₁(y)]+E_x[log(1-D₁(G(x))]；

其中，y是目标模态，E是输入输出的期望值；

采用L1损失重建损失有助于网络捕获合成模态中目标模态的整体外观特征和相对粗略的特征：

L_RESNET-L1(G)＝E_x，y[||y-G(x)||₁]；

由模态代表特征提取模块，它将x和G(x)作为输入并输出合成目标模态M(x，G(x))，合成目标模态M(x，G(x))放入鉴别模块D2中进行损失计算：

L_MRFE(M，D₂)＝E_y[logD₂(y)]+E_x，G(x)[log(1-D₂(M(x，G(x))))]；

使用L1损失来计算合成目标模态与真实目标模态之间的差：

L_MRFE-L1(M)＝E_x，G(x)，y[||y-M(x，G(x))||₁]；

所述MRFE-GAN模型的总损失函数为：

L_total＝λ₁L_RESNET(G，D₁)+λ₂L_RESNET-L1(G)+λ₃L_MRFE(M，D₂)+λ₄L_MRFE-L1(M)；

在训练过程中通过使最小化损失函数，而使D1和D2最大化的对抗方式，损失函数中设置λ₁＝λ₃＝1和λ₂＝λ₄＝100。