[发明专利]一种基于金字塔融合学习的图像分割方法、装置和计算机可读存储介质

说明书

本发明公开了一种基于特征金字塔融合的图像分割方法，用于对磁共振图像进行分析，将水肿、坏死组织与正常组织进行分割。该方法通过对数据进行预处理去除不包含水肿、坏死组织信息的磁共振层，然后为了防止过拟合进行数据增强，再把数据送入具有特征金字塔融合的深度学习模型中，首先利用下采样过程对数据进行特征提取，然后在上采样过程中逐渐恢复输入数据的分辨率，最后利用金字塔融合的方式把上采样过程中提取的多种尺度的信息进行融合得到分割结果。使用BraTS2015和BraTS2017两个数据集完成了实验，并做了5次交叉验证。与不使用金字塔融合的深度学习模型相比较后，本发明提出的方法分割精度明显提升，表明本发明提出的方法是有效的。

技术领域

本发明涉及了一种基于金字塔融合学习的图像分割方法、装置和计算机可读存储介质，属于图像处理领域。

背景技术

图像的语义分割是计算机视觉中重要的基本问题之一，其目标是对图像的每个像素点进行分类，将图像分割为若干个视觉上有意义的或感兴趣的区域,以利于后续的图像分析和视觉理解。可用于自动驾驶，美化图片，人脸建模，3D地图重建等。

传统的图像自动分割算法总体可分为阈值法、边缘检测法、区域增长法，分水岭算法、基于模型方法(水平集)或者综合使用多种方法。阈值法需要人工选取阈值，同时忽略掉了图像的空间信息。边缘检测法得到的分割结果是不连续的，且对噪声比较敏感，需要人工后处理。区域生长法需要人工设置种子点。当采用上述方法时，需要人工的干预来提取特征和模型训练，无法实现自动图像分割，同时模型对噪声比较敏感，使得分割结果存在较大的误差。近年来，以神经网络为基础的深度学习技术的发展和应用，极大地推动了图像分割的发展。相比以上算法，基于深度学习的图像分割方法，实现了端到端的模型，提升了图像处理效果，不需要人为的干预就能完成图像的分割。

基于深度学习的分割方法虽然克服了传统算法的中需要人为干预，对噪声敏感的缺点，在许多实际的分割问题中取得了不错的结果。通过图像分割方法，可将水肿、坏死组织与正常组织进行准确分割，对图像进行定量的分析以便更加准确的对病变进行定位。但是利用深度学习方法进行分割的话，输入数据经过多次卷积与下采样，病变组织信息在经过多次下采样之后失去了空间位置信息，这样在后续的上采样恢复图像的分辨率过程中，很难精确的分割出完整的病变组织，而且在医学影像中，存在多种尺度的病变组织信息，因此，如何有效的利用病变组织的位置信息和多尺度信息来完成病变组织精准的分割，是现在要解决的重要问题。

发明内容

基于卷积神经网络的图像分割方法在将输入数据经过多次卷积与下采样之后，得到特征图丢失了数据原有的位置信息，直接对其进行上采样恢复分辨率会影响分割精度。针对此问题，本发明提出了一种基于金字塔融合的神经网络方法，可以有效的利用数据的位置信息和多尺度信息，来提高图像分割的精度。

本发明的技术方案是：

一种基于金字塔融合学习的图像分割方法，将水肿、坏死组织与正常组织进行准确分割，该方法中，把经过预处理后的三维多模态的磁共振影像作为分割模型的输入数据，在下采样的过程中通过多个卷积块的运算完成特征提取，每一个块包括两个卷积层和一个下采样(MaxPooling)层，然后进行构建与下采样对称的上采样过程，通过跨层连接将下采样中每一个卷积块中的特征送至对称的上采样过程中，最后把上采样过程中每一个卷积块的特征图进行融合，得到最终的分割结果，具体步骤包括：

(一)采集磁共振影像数据，将每一个患者的Flair、T1、T1c、T2等四个模态的数据分别进行以下标准化处理，

X为输入数据，μ为输入数据的均值，σ为输入数据的方差，X′为标准化处理后的数据，然后将四个模态进行融合，每一个患者生成一个四通道的数据，即得到多模态数据；