[发明专利]基于多阶段多特征深度融合的乳腺癌图像识别方法及系统

说明书

本发明属于图像处理技术领域，公开了一种基于多阶段多特征深度融合的乳腺癌图像识别方法，从形状、纹理、深度学习多角度提取图像的Gist、SIFT、HOG、LBP、VGG16、ResNet、DenseNet特征；深入挖掘不同特征间蕴含的跨模态病理语义；通过早期融合、中融合、后融合进行特征融合；并构造集早期融合、中融合、后融合为一体的多阶段多特征融合模型；进行乳腺肿块的分类、识别、处理并输出处理结果。本发明通过提取乳腺造影图像的传统特征以及深度学习特征，深入挖掘不同特征间的跨模态病理语义，并设计多阶段多特征融合策略完成乳腺癌图像识别。同时，压缩核心特征的维度，以提升诊断模型的实时效率。

技术领域

本发明属于信息处理技术领域，尤其涉及一种基于多阶段多特征深度融合的乳腺癌图像识别方法及系统。

背景技术

目前，业内常用技术是这样的：乳腺癌是女性发病率最高的癌症，也是一种死亡率非常高的、较为复杂的临床异质性疾病，早发现、早诊断、早治疗对提高乳腺癌患者存活率及改善患者生活质量都具有十分重要的意义，计算机辅助乳腺癌自动诊断已成为学术界与工业界共同关注的问题。乳腺造影图像(X线摄影图像)可以较好地反映乳腺组织中存在的多种异常情况，故基于乳腺造影图像，病理医生能做出正确的诊断决策。然而乳腺造影图像中的肿块大小及形状存在多样性，且不同个体的乳腺组织密度也存在一定差异，某些肿块隐藏于乳腺组织中，不易发现；因此需要借助机器学习或机器视觉技术对乳腺造影图像进行识别，获取其中有效的信息。

现有技术中主要通过图像特征提取以及深度学习方法对相关乳腺造影图像进行识别。

首先，图像特征提取或特征优选是构建高质量乳腺癌诊断模型的重要前提。纹理、形状、边缘等传统特征，如尺度不变特征变换(Scale-Invariant Feature Transform，SIFT)、方向梯度直方图(Histogram of Oriented Gradients，HOG)、纹理基元(Texton)等在早期传统的乳腺癌识别中发挥了重要作用。例如，现有技术提取乳腺癌图像病灶的感兴趣区域(Region of Interesting,ROI)，然后将空间信息约束的模糊C均值(Fuzzy C-Means，FCM)算法集成到基于水平集的分割方法中，获取低层特征。基于互信息消除冗余特征，筛选关键特征。最后，采用SVM、LDA等传统分类模型完成乳腺肿块良恶性识别。

然而，手工提取乳腺癌图像病灶区域对专业知识有严格要求，这对于非专业人士有较大难度，且提取的效率不高。此外，在特征提取过程中，传统特征判别能力较弱。因此，传统的乳腺癌诊断模型的精准度不高，模型的实用价值也受到一定影响。

近年来，深度学习技术在机器视觉领域中取得重大突破，卷积神经网络(Convolutional Neural Networks，CNN)逐渐在乳腺癌诊断过程中扮演关键角色。相关研究工作可分如下四大类：

第一类：微调模型法。基于ImageNet数据集训练出多个卷积神经网络(如VGG、ResNet等)，它们能捕获图像中的深层语义，故只需微调这些网络，便可迁移出图像的关键特征表示。该方法通过微调已预训练好的卷积神经网络或直接抽取网络中的瓶颈特征，然后采用传统分类器(如SVM、KNN、NB等)完成乳腺癌诊断。例如，现有技术1在两个乳腺造影数据集上对CNN进行训练和评估，每个CNN模型均采用两种方式进行训练或微调，第一种方式指使用预训练的权重初始化网络，第二种方式指随机初始化网络权重。大量实验结果表明：对预训练的CNN模型进行微调可以获得更好的诊断性能。该方法能轻松获取预训练好的权重，以加快模型训练速度。它的主要问题：预训练好的权重是基于ImageNet数据集，该数据集不包含任何医学图像，故预训练好的权重对于乳腺造影图像来说帮助不大。此外，采用预训练好的权重初始化卷积神经网络时，要求输入的图像尺寸必须与预训练时的图像尺寸完全一致，即224×224。而乳腺造影图像的尺寸通常远大于224×224，为了与预训练时图像尺寸保持一致，需将图像统一缩小，显然这会丢失大量有效的判别信息，最终影响乳腺癌诊断精准度。综上，微调模型法可用于乳腺癌诊断，但诊断性能有待提高。