[发明专利]基于多尺度监督学习的超声和核磁图像配准方法及装置

权利要求书

1.基于多尺度监督学习的超声和核磁图像配准方法，其特征在于：其包括以下步骤：

(1)采集多个病人的肝脏三维磁共振图像以及与各三维磁共振图像对应的超声图像作为训练样本，将超声图像及磁共振图像中重要的组织区域分别分割出来，作为标签图像，重要的组织区域包括肝脏大血管和下腔静脉；

(2)构建基于3DUnet的配准基本框架；

(3)对3DUnet进一步优化，得到基于多尺度监督神经网络；

(4)将对应的磁共振图像和超声图像，首先进行刚性配准，并且均重采样到0.5mm*0.5mm*0.5mm，再全部下采样到128*128*128像素大小；其分割图像进行同样的操作，保持分割图像和原图像之间的对应关系；将处理好的磁共振图像和超声图像作为两个通道，输入到多尺度监督神经网络中，以模态独立的邻域描述子MIND相似性测度，分割标签损失以及形变场平滑项三个损失函数对神经网络进行训练；

(5)测试过程中，将需要配准的磁共振图像和超声图像，按照训练集相同的处理步骤，输入到神经网络，网络输出形变场，作为配准参数，根据所述配准参数将所述三维磁共振图像和所述三维超声图像进行配准。

2.根据权利要求1所述的基于多尺度监督学习的超声和核磁图像配准方法，其特征在于：所述步骤(2)中，配准网络框架为：将待配准的三维超声图像和磁共振图像叠加在一起，作为两个通道一起输入到基于3Dunet的编码解码网络中，网络输出通道数为三的形变场；将形变场作用到超声图像S_img上得到形变后的图像Warp_img；与此同时，将形变场作用到预先人工分割好的超声图像的标签S_label上，得到形变后的超声标签Warp_label。

3.根据权利要求2所述的基于多尺度监督学习的超声和核磁图像配准方法，其特征在于：所述步骤(2)中，网络的损失函数包括：磁共振图像和形变图像基于梯度的多模态测度MIND(T_img，Warp_img)、形变后的超声图像的标签和磁共振图像标签基于灰度差的均方根SSD(T_label,Warp_label)、对形变场的平滑约束项

4.根据权利要求3所述的基于多尺度监督学习的超声和核磁图像配准方法，其特征在于：所述步骤(3)中，在3Dunet编码解码的基础上进行改进，编码阶段经历五次下采样；每一层三维卷积后都加入了批标准化BN层和leakyrelu非线性激活函数；在解码阶段，分别在图像的以及全尺寸这四个尺度下输出通道数为三的张量作为形变场为大小为原图的形变场，并对该尺度下的形变场计算损失约束；下层输出的形变场张量又作为更高级分辨率形变场的初始化输入到解码网络的后一层；对每一级的损失计算，将形变场作用在对应的浮动的三维超声图像，从而计算形变后图像与固定的磁共振图像的局部自相似性测度MIND，以及形变场梯度的L2范数；对于最后全尺寸的形变场，再添加形变后图像与固定分割图像的差异这个损失。

5.根据权利要求4所述的基于多尺度监督学习的超声和核磁图像配准方法，其特征在于：所述步骤(3)中，对神经网络进行训练包括：训练过程中神经网络预测得到的不同尺度的形变场分别为16,32,64,128.的三维矩阵*3得到的四维矩阵；将每一级尺度的形变场，作用到对应的超声图像上，为原超声图像下采样到从而得到以及超声的分割二值图像上