[发明专利]基于深度学习从多序列MR中生成伪CT的影像生成系统

权利要求书

1.基于深度学习从多序列MR中生成伪CT的影像生成系统，其特征在于，包括：

数据收集模块，用于收集数据集，数据集包括CT影像和多序列MR影像数据，并将数据集划分为训练集和测试集；

影像生成模型训练模块，用于利用训练集中相应模态的小批次数据，分别对基于CNN的生成器G_CT和G_MR以及判别器D_CT和D_MR进行迭代训练，得到最优影像生成模型；

影像生成模块，用于从测试集的多序列MR影像中生成伪CT影像；

其中，所述影像生成模型训练模块所利用的小批次数据，是指将训练集分成n个小批次的数据，逐批次对模型进行训练；其中，在训练阶段，当前批次的CT数据以I_{real_CT}表示，当前批次的t种多序列MR数据以I_{real_MR}表示，同一批次的t种不同序列MR数据之间是空间对齐的；所述影像生成模型训练模块分别对基于CNN的生成器G_CT和G_MR以及判别器D_CT和D_MR进行迭代训练，包括以下步骤：

1)将I_{real_MR}输入多序列融合CT影像生成器,即输入生成器G_CT，生成伪CT数据I_{sy_CT}；将I_{real_CT}和I_{sy_CT}分别输入判别器D_CT中，计算判别器D_CT相应损失项并更新参数；

生成伪CT数据I_{sy_CT}由下式确定：

I_{sy_CT}＝G_CT(I_{real_MR})

判别器D_CT相应损失项由对抗性损失构成，由下式确定：

其中，m为当前小批次中数据的个数，(D_CT(I_{sy_CT}))²为对将I_{sy_CT}输入判别器D_CT得到的概率矩阵进行平方运算，(D_CT(I_{real_CT})-1)²中的D_CT(I_{real_CT})为将I_{real_CT}输入判别器D_CT得到的概率矩阵，1为维度与D_CT(I_{real_CT})维度相同的全1矩阵；根据生成对抗网络中博弈论思想，构建对抗性损失的目的是提高判别器D_CT正确分辨真实CT影像I_{real_CT}和生成伪CT影像I_{sy_CT}的能力；

2)将I_{sy_CT}输入MR影像生成器，即输入生成器G_MR,生成重建多序列MR数据I_{recon_MR}；将I_{real_CT}输入生成器G_CT，得到生成影像I_{idt_CT}；通过轮廓提取器分别提取I_{recon_MR}的轮廓C_{recon_MR}和I_{real_MR}的轮廓C_{real_MR},计算生成器G_CT相应损失项并更新参数；

生成重建多序列MR数据I_{recon_MR}由下列表达式确定：

I_{recon_MR}＝G_MR(I_{sy_CT})

生成影像I_{idt_CT}由下列表达式确定：

I_{idt_CT}＝G_CT(I_{real_CT})

生成器G_CT相应损失项由下列表达式确定：

其中，(D_CT(I_{sy_CT})-1)²是对抗性损失，由将I_{sy_CT}输入判别器D_CT得到的概率矩阵进行平方运算得到，计算对抗性损失是为了使生成器G_CT尽可能生成能够欺骗判别器D_CT的伪CT影像；||I_{recon_MR}-I_{real_MR}||₁是循环一致性损失，由重建多序列MR数据I_{recon_MR}和真实的多序列MR数据I_{real_MR}之间计算L1距离得到，计算循环一致性损失目的是让网络具有从重建数据中还原得到原始影像的数据，从而保证生成过程整体可逆性和对称性，并且起到正则化的作用，提高训练过程的稳定性；||C_{recon_MR}-C_{real_MR}||₁是轮廓一致性损失，由重建多序列MR数据I_{recon_MR}提取的轮廓和真实的多序列MR数据I_{real_MR}提取的轮廓之间计算L1距离得到，计算轮廓一致性损失是为了使I_{recon_MR}的解剖结构与I_{real_MR}的解剖结构保持一致，间接对生成器G_CT进行约束，使G_CT趋向于生成解刨结构变异性更小的I_{sy_CT}，即得到解剖学结构畸变更小的生成影像；||I_idt__CT-I′_real__CT||₁是恒等损失，由I_idt__CT和I′_real__CT之间计算L1距离得到，其中I′_{real_CT}是对真实CT影像进行复制扩充得到的数据，其通道数与I_{idt_CT}保持一致，计算恒等损失是为了当网络输入为真实的CT影像时，生成器G_CT能够尽可能保持影像原样输出，从而进一步提升网络训练过程的稳定性和可靠性；

3)将I_{real_CT}输入生成器G_MR中，输出生成的MR数据I_{sy_MR}；将I_{sy_MR}和I_{real_MR}分别输入判别器D_MR中，计算判别器D_MR相应损失项并更新参数；

生成的MR数据I_{sy_MR}由下式确定：

I_{sy_MR}＝G_MR(I_{real_CT})

判别器D_MR相应损失项由对抗性损失构成，由下式确定：

其中，(D_MR(I_{sy_MR}))²为对I_{sy_MR}输入判别器D_MR得到的概率矩阵进行平方运算，(D_MR(I_{real_MR})-1)²中的D_MR(I_{real_MR})为将I_{real_MR}输入判别器D_MR得到的概率矩阵，1为维度与D_MR(I_{real_MR})维度相同的全1矩阵；构建对抗性损失的目的是提高判别器D_MR正确分辨真实多序列MR影像I_{real_MR}和生成的多序列伪MR影像I_{sy_MR}的能力；

4)将I_{sy_MR}输入生成器G_CT,生成重建CT数据I_{recon_CT}；将I_{real_MR}中的t种序列影像逐个序列分别输入G_MR,得到对应的生成影像通过轮廓提取器分别提取I_{recon_CT}的轮廓C_{recon_CT}和I_{real_CT}的轮廓C_{real_CT},计算生成器G_MR相应损失项并更新参数；

生成重建CT数据I_{recon_CT}由下列表达式确定：

I_{recon_CT}＝G_CT(I_{sy_MR})

生成影像由下列表达式确定：

其中，t指数据集中的t种MR序列；

生成器G_MR相应损失项为：

其中，(D_MR(I_{sy_MR})-1)²是对抗性损失，由将I_{sy_MR}输入判别器D_MR得到的概率矩阵进行平方运算得到，计算对抗性损失是为了使生成器G_MR尽可能生成能够欺骗判别器D_MR的生成的伪多序列MR影像；||I_{recon_CT}-I_{real_CT}||₁是循环一致性损失，由重建CT数据I_{recon_CT}和真实CT数据I_{real_CT}之间计算L1距离得到；||C_{recon_CT}-C_{real_CT}||₁是轮廓一致性损失，由重建CT数据I_{recon_CT}提取的轮廓和真实CT数据I_{real_CT}提取的轮廓之间计算L1距离得到；是当前MR序列的恒等损失，由和之间计算L1距离得到，其中是中与相同序列所在通道的数据；对各个序列恒等损失求和得到多序列MR恒等损失项。