[发明专利]基于卷积神经网络的多模态医学图像的目标区域提取方法

权利要求书

1.一种基于卷积神经网络的多模态医学图像的目标区域提取方法，其特征在于，包括以下步骤：

1)构建用于多模态医学图像中目标区域提取的掩模区域卷积神经网络；

2)对构建的掩模区域卷积神经网络进行训练；

3)将待处理的多模态医学图像输入训练后的掩模区域卷积神经网络进行目标区域提取；

其中，所述掩模区域卷积神经网络包括多模态医学图像特征提取网络、目标区域建议网络和头网络，所述多模态医学图像特征提取网络提取多模态医学图像的多个层级的融合特征图；然后由所述目标区域建议网络搜索融合特征图上可能存在目标区域的候选目标区域定位框，再通过ROIAlign层提取出候选目标区域特征图并输入到所述头网络中；再由所述头网络对候选目标区域定位框中存在目标区域的可能性进行评估，修正候选目标区域定位框的位置和大小并提取其中的目标区域，最后通过非极大值抑制算法，选出包含目标区域概率高的候选目标区域定位框，去掉包含目标区域概率低的候选目标区域定位框和与概率高的候选目标区域重叠度过高的候选目标区域，得到最终的目标区域和目标区域掩模；

所述多模态医学图像特征提取网络为融入挤压激励块的特征提取网络，具体包括m个并行的SE-Resnet和n个第一SE块，其中，待处理的多模态医学图像包括m个模态图像，每个模态图像包括n个层级的特征图；

多模态医学图像首先由m个并行的所述SE-Resnet分别提取出m个模态图像中每一个模态图像的n个层级的特征图，分别将所有模态图像的相同层级特征图串联，得到n个串联特征图，然后将n个串联特征图分别输入n个所述第一SE块中，输出n个层级的融合特征图；

所述目标区域建议网络将多模态医学图像特征提取网络得到的n个融合特征图作为输入，输出一系列包含目标区域可能性较高的候选目标区域定位框；所述目标区域建议网络输出bbox_k＝[p,x₁,y₁,x₂,y₂]，其中p表示候选目标区域定位框中包含目标区域的概率,x₁,y₁；x₂,y₂分别表示候选目标区域定位框的左上角和右下角坐标,下标k表示第k个候选目标区域定位框；然后将候选目标区域定位框的坐标和对应层级的特征图输入ROIAlign层中，找到候选目标区域定位框在特征图上的对应位置，使用双线性或三线性插值得到候选目标区域特征图；

所述头网络包括目标区域掩模网络、目标区域定位框回归网络和目标区域分类网络，所述目标区域分类网络对候选目标区域定位框存在目标区域的可能性进行判别，所述目标区域定位框回归网络对候选目标区域定位框的位置和大小进行修正，所述目标区域掩模网络用于提取目标区域掩模。

2.根据权利要求1所述的基于卷积神经网络的多模态医学图像的目标区域提取方法，其特征在于，所述SE-Resnet包括依次连接的卷积层、最大池化层和n个SE-残差块，其中，第n个层级的特征图为第n个SE-残差块的输出，其余层级特征图为下一层级特征图上采样后与本层级SE-残差块输出的和。

3.根据权利要求2所述的基于卷积神经网络的多模态医学图像的目标区域提取方法，其特征在于，所述SE-残差块包括两个残差块和一个第二SE块；

所述残差块包括依次连接的第一卷积层、第二卷积层和第三卷积层，所述第一卷积层和第三卷积层的卷积核大小为1x1，所述第二卷积层的卷积核大小为3x3。

4.根据权利要求1所述的基于卷积神经网络的多模态医学图像的目标区域提取方法，其特征在于，所述步骤2)之前还包括以下步骤：

2-1)采集多模态医学图像并进行数据标记：在采集得到的多模态医学图像的每一种模态的图像中标记目标区域，得到每种模态的图像所对应的目标区域掩模；

2-2)对标记后的图像进行图像预处理；

2-3)以预处理后的图像为基础，使用刚性变换和非刚性变换进行图像数据量扩增，将扩增后的图像数据用于进行掩模区域卷积神经网络训练；刚性变换包括随机位移、随机上下左右翻转、随机旋转，非刚性变换采用滑动最小二乘法。