[发明专利]一种基于深度学习的3D心室核磁共振视频分割系统

权利要求书

1.一种基于深度学习的3D心室核磁共振视频分割系统，其特征在于，该系统包括3D心室核磁共振MRI视频数据预处理模块、可变形卷积的深度注意力网络Deformable U-Net和图像检测模块；

所述3D心室核磁共振MRI视频数据预处理模块包括数据增强模块和数据划分模块：

所述数据增强模块：将现有的3D心室MRI视频数据集拆分成各帧MRI图像，扩充数据集并对图像大小做归一化处理；

所述数据划分模块：对增强后的图像数据分为训练集和测试集；所述训练集和测试集中均包含有完整的3D心室MRI图像，所述训练集用于可变形卷积的深度注意力网络Deformable U-Net进行训练；

所述可变形卷积的深度注意力网络Deformable U-Net包括深度时空可变形卷积融合模块TDAM和深度可变形卷积全局注意力模块DGPA：

所述深度时空可变形卷积融合模块TDAM：该模块包含一个U-Net网络和一个可变形卷积层；TDAM将时间轴上连续的3D心室MRI视频各帧图像输入U-Net网络，输出为MRI视频段中图像的高维特征补偿区域offset field，将其连同输入图像传入到可变形卷积层，计算得到补偿后的图像的高维特征fused feature maps，即包含了前后帧信息的融合特征；

所述深度可变形卷积全局注意力模块DGPA：该模块包含一个U-Net网络、一个可变形卷积注意力模块、三个加和注意力模块以及一个输出层，所述可变形卷积注意力模块基于空间注意力模块，将空间注意力模块的输入经过一个可变形卷积层，并将计算得到的可变形卷积层的输出与空间注意力模块的输出相加，最终得到可变形卷积注意力模块的输出；在U-Net网络的第一层skip connection中加入可变形卷积注意力模块，并在其余三层skipconnection中加入加和注意力模块；将经过补偿的图像的高维特征fused feature maps输入U-Net网络，将U-Net网络计算得到的高维特征传入输出层得到有注意力的特征图，之后采用softmax回归函数得到分割概率，即MRI图像中的某区域属于左心室、心肌或者右心室的概率；

所述图像检测模块用于3D心室区域分割，利用训练好的网络计算测试集3D心室MRI图像的概率热图，根据DGPA得到的分割概率对每一张心室MRI图像对应的概率热图进行分割，获得分割结果，即左心室区域、心肌区域和右心室区域。

2.根据权利要求1所述的一种基于深度学习的3D心室核磁共振视频分割系统，其特征在于，所述数据增强模块在图像处理过程中，通过旋转、调节对比度以及缩放的方式扩充数据集，将3D心室MRI视频分为x，y，z，t四个方向，其中x，y，z代表空间坐标系，t代表时间轴，选用x-y平面的视频帧。

3.根据权利要求1所述的一种基于深度学习的3D心室核磁共振视频分割系统，其特征在于，在各帧MRI图像输入Deformable U-Net网络前，选用目标帧沿时间t轴方向的前后r帧作为Deformable U-Net网络输入，即2r+1帧MRI图像。

4.根据权利要求1所述的一种基于深度学习的3D心室核磁共振视频分割系统，其特征在于，所述深度时空可变形卷积融合模块TDAM中，共包含9层结构，第一层包含一个卷积层和一个Relu函数，将输入通道数(2r+1)*in_c转变为nf，其中in_c为输入图像通道数，nf为自定义卷积层输出通道数；第2到4层为下采样结构，包含两个卷积层和两个Relu函数；第5到6层为上采样结构，包含一个卷积层，一个反卷积层和两个Relu函数；第7层为跳转传递结构，将下采样得到的特征处理后与上采样结果融合，包含两个卷积层，一个反卷积层和三个Relu函数；第8层为offset输出结构，包含两个卷积层和一个Relu函数，第二个卷积层输出通道数(2r+1)*2*(deform_ks)²，其中deform_ks为可变形卷积卷积核大小；第九层结构为一个可变形卷积和一个Relu函数，将输入图像以及offset作为该层输入，得到图像的高维特征fused feature maps。