[发明专利]基于图像转换和域泛化的无监督多模态医学图像配准方法

权利要求书

1.一种基于图像转换和域泛化的无监督多模态医学图像配准方法，其特征在于，所述方法包括以下步骤：

1)联合训练阶段，过程如下：

首先，随机采样的真实图batch被转换模块转换为合成图batch，接着，转换模块和配准模块被联合优化，该优化需要这批真实图和合成图的共同参与；对于配准模块，在合成图batch被判定为“质量令人满意”的情况下，这批真实图/合成图才被用于计算配准过程中的损失项，且该损失被用于配准模块的泛化；在转换模块和配准模块都完成优化更新后，后续训练是否被执行的情况才被判断；当联合训练的进程达到人为设定的终点时，训练结束；

2)转换模块的优化目标：

对于已预训练好的配准网络，合成图的准确性越高，多模态配准的效果越好；CycleGAN因其适用于在unpaired数据上进行双向图像转换训练而被采用为转换模型，该模型包含了两个转换器G_x和G_y以及两个辨别器D_x和D_y，辨别器D_x对real_x和syn_x*进行辨别，辨别器D_y对real_y和syn_y*进行辨别；其优化目标见公式(1)：

当转换模型训练理想时，syn_moving_image对应模态域与real_fixed_image的完全重合，即合成图足够逼真；此时，由于R_x已可完全胜任对应模态域的真实图之间的配准，因此，对输入的“real_x_i”和“syn_x_a*”，所输出形变场φx*所构成的样本分布空间与φx的分布空间一致；

利用φx*和φx，φy和φy*之间的差异，设计了形变场辨别器网络D_φx和D_φy，利用形变场进行对抗学习，对于R_x，G_x和D_φx这三个网络，在D_φx训练阶段，G_x和R_x的参数被固定，此时期望D_φx对于输入的φx和φx*可进行区分；在G_x训练阶段，D_φx和R_x的参数被固定，此时期望D_φx(φx)＝D_φx(φx*)，对应训练损失项见公式(2)：

通过迭代交替的对抗训练，syn_moving_image与real_fixed_image的模态域偏差将逐渐减小，R_x对二者的配准操作将更为准确；对于D_φy和G_y，有训练损失项见公式(3)：

利用所得到的φx*和φy*，设计了循环配准操作，可对转换器的训练集成额外的约束，用real image和两次形变之后的moved image之间的损失对转换模型的训练进行约束，见公式(4)：

形变场对抗损失项，形变循环一致性损失与CycleGAN自带的训练损失项被集成至转换模块的训练，优化目标见公式(5)：

将对抗学习损失项(L_adv和L_regadv)的权重都设置为1，且将涉及循环一致性损失的损失项(L_cyc和L_regcyc)的权重都设置为λ；

3)配准模块的优化目标，过程如下：

对于输入所提框架的真实图batch，转换模块先进行训练，接着，配准模块根据真实图和转换所得的合成图进行有策略的微调泛化训练；对于配准网络R_x，首先采用定量评价指标FID对该batch的”syn_x_a*”和”real_x_i”进行逼真性度量fid_x的计算；将两个损失“自适应得”反馈于R_x后端网络层的参数更新，对R_x的配准功能进行泛化，R_x在微调泛化阶段的优化目标见公式(6)：

对于配准网络R_y，”syn_y_i*”和”real_y_a”之间的fid_y被计算，当fid_y优于人为设定阈值δ₂时，R_y被微调泛化，优化目标见公式(7)：

在联合训练阶段，各网络模块的参数更新顺序被设置为